분류 전체보기 401

Spark / Scala / Python

Spark는 프레임워크, Scala Python은 언어 이름 Spark : 아파치 재단의 오픈소스 , 인메모리 기반의 대용량 데이터 고속 처리 엔진 / 분산 클러스터 컴퓨팅 프레임워크 Speed 인메모리(In-Memory) 기반의 빠른 처리 Ease of Use 다양한 언어 지원(Java, Scala, Python, R, SQL)을 통한 사용의 편이성 Generality SQL, Streaming, 머신러닝, 그래프 연산 등 다양한 컴포넌트 제공 Run Everywhere YARN, Mesos, Kubernetes 등 다양한 클러스터에서 동작 가능 HDFS, Casandra, HBase 등 다양한 파일 포맷 지원 ---- Python : It is an interpreted, object-oriented..

카테고리 없음 2021.11.05

Memory capacity of 8388608 bytes for 'range_optimizer_max_mem_size' exceeded. Range optimization was not done for this query.

Memory capacity of 8388608 bytes for 'range_optimizer_max_mem_size' exceeded. Range optimization was not done for this query. 사내 DBA 분이 튜닝해주신 쿼리가 어떤 때에는 속도가 엄청 느렸습니다. Mybatis에서 동적으로 In 절을 만들고 있었는데 In 절에 데이터가 많아지는 경우의 문제였습니다. range_optimizer_max_mem_size 의 값을 확인인하여 값을 변경합니다. range_optimizer_max_mem_size=0 으로 설정하거나 늘릴것을 검토한다. dynamic parameter이며 0으로 설정 시 unlimit을 의미 > SHOW VARIABLES LIKE '%mem%'; ..

오류관리 2021.07.01

[오류관리] MyBatisSystemException Could not set parameters for mapping

org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.type.TypeException: Could not set parameters for mapping: ParameterMapping{property='__frch_item_626', mode=IN, javaType=class java.lang.String, jdbcType=null, numericScale=null, resultMapId='null', jdbcTypeName='null', expression='null'}. Cause: org.apache.ibatis.type.TypeException: Error setting non null for param..

오류관리 2021.06.28
반응형