전체 글 399

Spark / Scala / Python

Spark는 프레임워크, Scala Python은 언어 이름 Spark : 아파치 재단의 오픈소스 , 인메모리 기반의 대용량 데이터 고속 처리 엔진 / 분산 클러스터 컴퓨팅 프레임워크 Speed 인메모리(In-Memory) 기반의 빠른 처리 Ease of Use 다양한 언어 지원(Java, Scala, Python, R, SQL)을 통한 사용의 편이성 Generality SQL, Streaming, 머신러닝, 그래프 연산 등 다양한 컴포넌트 제공 Run Everywhere YARN, Mesos, Kubernetes 등 다양한 클러스터에서 동작 가능 HDFS, Casandra, HBase 등 다양한 파일 포맷 지원 ---- Python : It is an interpreted, object-oriented..

카테고리 없음 2021.11.05

Memory capacity of 8388608 bytes for 'range_optimizer_max_mem_size' exceeded. Range optimization was not done for this query.

Memory capacity of 8388608 bytes for 'range_optimizer_max_mem_size' exceeded. Range optimization was not done for this query. 사내 DBA 분이 튜닝해주신 쿼리가 어떤 때에는 속도가 엄청 느렸습니다. Mybatis에서 동적으로 In 절을 만들고 있었는데 In 절에 데이터가 많아지는 경우의 문제였습니다. range_optimizer_max_mem_size 의 값을 확인인하여 값을 변경합니다. range_optimizer_max_mem_size=0 으로 설정하거나 늘릴것을 검토한다. dynamic parameter이며 0으로 설정 시 unlimit을 의미 > SHOW VARIABLES LIKE '%mem%'; ..

오류관리 2021.07.01

[오류관리] MyBatisSystemException Could not set parameters for mapping

org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.type.TypeException: Could not set parameters for mapping: ParameterMapping{property='__frch_item_626', mode=IN, javaType=class java.lang.String, jdbcType=null, numericScale=null, resultMapId='null', jdbcTypeName='null', expression='null'}. Cause: org.apache.ibatis.type.TypeException: Error setting non null for param..

오류관리 2021.06.28

JPA, MyBatis 차이

SQL Mapper Vs ORM SQL Mapper의 종류 - mybatis, jdbcTemplate ORM 기술을 적용하기 위한 java의 명세 - JPA JPA를 구현한 것 - Hibernate Java Database Connectivity Persistence Framework JDBC 프로그래밍의 복잡함이나 번거로움 없이 간단한 작업만으로 데이터베이스와 연동되는 시스템을 빠르게 개발할 수 있으며 안정적인 구동을 보장한다. Persistence Framework는 SQL Mapper와 ORM으로 나눌 수 있다. 아래 참고 Ex) JPA, Hibernate, Mybatis 등 ORM은 데이터베이스 객체를 자바 객체로 매핑함으로써 객체 간의 관계를 바탕으로 SQL을 자동으로 생성해주지만 SQL Map..

JAVA 2021.06.21

London's GitHub project1 #1. Spring Boot 프로젝트 생성, Github 연동

project1 목표 1. GitHub 시작해보기 2. SpringBoot - Jpa, DB 셋팅하기 3. DynamoDB 셋팅, 사용해보기 #1. Spring Boot 프로젝트 생성, Github 연동 - Spring Boot 프로젝트를 생성한다 - Github Respository에 프로젝트를 연동한다. Step 1. Spring Boot 프로젝트 생성하기 1. Spring Initializr 에서 프로젝트 설정하기 : https://start.spring.io/ - GroupId : GroupId는 자신의 프로젝트를 식별해주는 고유 아이디. - ArtifactId : ArtifactId는 버전 정보를 생략한 이름(jar). 2. 다운로드 후 IDE에서 열기 3. Maven Install & Appl..

Project 2021.06.21
반응형