Kim's :D

CDC - Consumer Driven Contract

k9e4h — Mon, 2 Feb 2026 18:13:35 +0900

https://docs.spring.io/spring-cloud-contract/reference/index.html

Spring Cloud Contract Reference Documentation :: Spring Cloud Contract

Adam Dudczak, Mathias Düsterhöft, Marcin Grzejszczak, Dennis Kieselhorst, Jakub Kubryński, Karol Lassak, Olga Maciaszek-Sharma, Mariusz Smykuła, Dave Syer, Jay Bryant

docs.spring.io

소비자 주도 계약 테스트란, 소비자가 자신이 실제로 서비스의 API를 어떻게 사용할 것인지에 대한 명세를 작성하고, 이 내용을 기반으로 실제 사용 사례에 맞춰 엔드투엔드 테스트를 설계하고 검증하는 방식이다.

https://www.geeksforgeeks.org/system-design/consumer-driven-contract-pattern/

Consumer Driven Contract Pattern - GeeksforGeeks

Your All-in-One Learning Portal: GeeksforGeeks is a comprehensive educational platform that empowers learners across domains-spanning computer science and programming, school education, upskilling, commerce, software tools, competitive exams, and more.

www.geeksforgeeks.org

소비자 주도 계약(CDC) 패턴은 서비스 소비자가 서비스 제공자가 이행해야 할 계약 내용을 명시하는 방법론입니다.

서비스 제공자가 상호 작용 조건을 정의하는 기존 방식과 달리, CDC는 소비자가 자신의 기대치를 명확히 제시하도록 합니다.
이를 통해 소비자의 요구사항을 명확히 이해하고 서비스를 개발할 수 있으며, 통합 문제를 최소화하고 시스템 전반의 신뢰성을 향상시킬 수 있습니다 .

ArchUnit - Java 코드 분석

k9e4h — Mon, 2 Feb 2026 15:48:02 +0900

https://www.archunit.org/

Unit test your Java architecture

Start enforcing your architecture within 30 minutes using the test setup you already have.

www.archunit.org

trait 특성

sound 건전한, 정상적인
verify 입증하다

adhere strictly to a plan 계획을 엄수하다

adhere 들러붙다, 부착하다.

Simply put, 간단히 말해서

refer to sombody/something SB/ST 에 대해 언급하다. ~를 나타내다

** We need to verify that the code implemented adheres to it.

- implemented는 과거분사 형용사로, 관계절(which was implemented)을 줄여서 code를 뒤에서 수식한다.

** The architecture of a system also defines how packages or groups of packages interact.

- how + 주어 + 동사는 질문이 아니라 목적어 역할을 하는 명사절

Gamma 활용법, 직장인 PPT 툴 추천

k9e4h — Thu, 9 Oct 2025 17:15:21 +0900

이번에 강연 준비하면서 정말 많이 도움 받은 Gamma

없었다면 준비 어떻게했을지 모르겠다..

구글 계정으로 로그인, 계정 여러개 만들어서 반복 사용 가능

1계정당 400크레딧, PPT 1장당 10크레딧, 별도 프롬프트 작성시 5크레딧 추가됨

Gamma PPT 생성 방법

감마 로그인 후 "새로 만들기" 버튼 클릭

대표사진 삭제

AI 활용 설정

사진 설명을 입력하세요.

텍스트로 붙여넣기 클릭

생성은 프롬프트로 자동 생성,

파일 또는 URL 가져오기는 기존 문서의 톤앤매너를 맞춰줌.

텍스트로 붙여넣기해서 직접 만드는게 가장 마음에 들었다.

1. 프레젠테이션 선택

2. 콘텐츠 입력하기

문장으로 작성, 키워드 몇가지 단어로 작성,

아주 긴 글로 작성 뭐든 상관없다.

다음 단계에서 수정 가능하다.

3. 긴 텍스트 또는 문서를 요약합니다.

다음 단계에서 수정 가능하다.

1. 왼쪽 상단 텍스트 콘텐츠

생성

짧은 키워드로 작성한 콘텐츠를 풍부한 내용의 PPT로 작성할 때 유용

압축

문장이나 긴 글로 작성한 내용을 키워드 중심의 PPT로 작성할 때 유용

보존(유료)

나는 주로 "압축" 그 중에서도 가장 짧게를 사용했다.

이렇게해도 한 페이지에 글자 수 30,40자 이상으로 텍스트가 많았다.

2. 왼쪽 중간 시각적 요소

테마를 선택할 수 있다.

더보기를 클릭하면 다양한 테마와 각 테마의 예시를 볼 수있다.

3. 왼쪽 아래 이미지 출처

직접 이미지를 업로드 할 수도 있고 AI로 생성할 수 있다.

이미지 스타일을 맞춰서 생성할 수 있다.

4. 중간 콘텐츠

자유 형식이 있고 카드 형식이 있다.

전체 내용에서 어떤식으로 발표 내용을 분리할지 모르겠는 경우에는 자유 형식을 사용하면 된다.

나의 경우에는, 분리하고 싶은 내용이 명확했기 때문에 카드별을 선택하여 각 카드마다 원하는 내용을 작성했다.

5. 추가 지침

상세 프롬프트를 작성한다.

전체적인 카드의 느낌이나 원하는 방향을 설정한다.

저장 방법

우측 상단 버튼을 통해 PDF, PowerPoint등 다양한 형식으로 저장 가능하다.

생성 후 수정 방법

프롬프트 자체를 수정할 경우

우측 상단 ... 에서 "소스 프롬프트 보기"를 선택하여 프롬프트 수정 가능,

프롬프트 수정하여 재생성할 경우 credit이 차감된다.

일반 장표를 생성할 때는 크레딧 사용 X,

gamma에서 ppt를 수정할 경우 테마에 맞는 구성요소를 사용할 수 있다.

gamma에서 모두 수정하고 ppt로 다운 받아서 최종 확인하는게 좋다.

컴퓨터에 다운 받아서 작업하게 되면 오히려 기존 테마에 맞춰서 수정하기가 어렵다.

Gamma 크레딧 정책

• AI로 만들기: 생성한 gamma당 크레딧 40개.

• AI로 카드 추가: 생성하는 카드당 크레딧 5개.

• AI와 채팅: AI 제안당 크레딧 10개(예: 이미지 찾기, 콘텐츠 다시 쓰기 등), 오류나 설명에 대해 서는 비용이 청구되지 않습니다.

• AI 이미지: 이미지 프롬프트당 크레딧 10개.

• AI로 계속:/continue 또는 +++ 사용할 때마다 크레딧 2개

Gamma로 광명 찾으세요!!!! 오예~~~!!

최종 완성한 PPT

MongoDB

k9e4h — Thu, 5 Jun 2025 16:43:20 +0900

코히어 coherence 응집성

polymorphism 다형성

CQRS 패턴

OLTP 성능이 좋다

SQL은 Hardware에 성능이 좌우되지만 Json Document는 동일한 Hardware더라도 모델 구조에 따라서 성능이 좋아질 수 있다.

mongodb..

mongodb는 sql을 정확하게 맞출 필요 없다 → 쿼리 정확도?를 설정할 수 있음 (flexible schema)

RDBMS - MongoDB

Database - Dababase

Table - Collection

Row - Document

Column - Field

Index - Index (B-tree Index 사용)

하나의 Document안에 sub document 가질 수 있음

array, flexible schema

object based api → application에서도 json document 필드를 변경할 수 있다.

flexible schema → 변하지 않는 필드는 무조건 정합성을 맞춰야하고 그 외의 필드들은 정합성을 좀 약하게해서, 서비스 운영 상태에서도 스키마를 변경하면서 할 수 있다.

------

Embedding Vs Referenceing

SQL 정규화 => 몽고DB에서는 정규화라는 용어보다는 referenceing이라고 얘기함 => 3차 정규화읭 foreign key 라고 생각하면 됨

가급적이면 1개의 document에서 처리

- multi head transaction을 피할 수 있음

하나의 document에 넣으면 데이터 중복 및 용량이 커지는 문제가 있지만

현재는 스토리지 비용이 저렴하기 떄문이 무시 가능할 수준이다.

한개의 document내의 field 가 concurrency 하게 여러 client가 읽을 때는 throuput이 떨어질 수도 있음

write confliect 발생

---------

MongoDb Data Modeling

어떤걸 Embedding하고 어떤걸 Referenceing하는게 모델링의 주요 과제이다

----

각각의 document내의 array는 200개 까지 가능함

----

가장 많이 사용하는건 relationships에 있는 것들..

subsset pattern..

쿼리의 중심이되는 Domcument를 읽을 때 다른 document의 일부를 embedding 하는 것..

extended reference pattern..

쿼리의 중심이 아니라 다른 Document에 몇몇 필드를 넣어두는 것

attribute pattern

key,value로 json document만들어 놓으면 "key"라는 필드명은 변하지 않기때문에 index 걸기 좋아짐

스키마에 버전을 넣으면 다운 타임 없이 변경된 스키마를 적용할 수 있음

pagination 쓸 때 group 쓰지 말기 -> group은 blocking이라 모든 document를 읽어야한다

group 외에 setWindowFields 사용하기

--------

주로 Compound Index 사용

-----------

mongodb 용어

fuzzy

full text

exact match

ngram

nori

- N-gram은 문자열을 일정한 길이의 연속된 부분 문자열로 분해하는 기법입니다. Nori와 함께 N-gram을 사용하면 자동 완성 기능이나 부분 문자열 검색 기능을 구현할 수 있습니다.

- Nori는 한국어 형태소 분석기로, 텍스트를 형태소 단위로 분해하여 인덱싱하고 검색하는 데 사용

- Atlas Search: MongoDB Atlas는 클라우드 기반의 검색 기능을 제공하며, Nori를 사용하여 한국어 검색을 지원합니다.

ngram은 기법, nori는 mongodb의 엔진

Ngram은 문자를 일정 길이로 자르는 방식이기 때문에, 오타나 유사어 검색에 유리하지만, 문법적인 의미를 고려하지 않습니다.
Nori는 한국어의 형태소 분석에 특화되어 있어, 의미 기반의 검색을 할 때 더 효과적입니다. 한국어의 단어 단위로 분리하여 인덱싱을 하므로, 언어적 의미를 반영하는 데 적합합니다.

Ngram을 통해 오타나 부분 문자열 검색을 처리하고, Nori를 사용하여 정확한 형태소 기반 검색을 처리

MySQL 튜닝

k9e4h — Thu, 13 Mar 2025 13:07:28 +0900

1. SQL 실행계획 분석도구

Explain, Anlayze

오라클은 예상 실행계획과 실제 실행 계획이 다른 경우가 많음.

그러나 MySQL은 대부분은 경우 explain에 나온 실행 계획 그대로 실행 됨

Analyze 는 실제 SQL을 수행한 결과 기반

mysql 8.0 이상에서는 analyze explain으로 명령어 변령 됨

explain으로 파악하고 analyze로 같은지 확인

explain 후에 format 옵션을 주어서 격자무늬가아닌 json으로 보면 조회 됨

json으로 조회시 더 많은 항목을 조회 할 수 있음

explain 뒤에 extended 등 키워드가 있는데 이런 키워드들은 사라지는 추세

MariaDB/MySQL Query 실행 구조

DMBS Engine과 Storage Engine으로 나뉘고 Storage Engine에서 필요한 데이터만 가져오는 것이 튜닝의 기본이다.

Cache는 정말 완전히 동일한 조건일 때만 Cache에서 가져옴

MariaDb - Expalin

통계정보 기반으로 실행 계획이 나옴 Analyze를 하면 통계도 최산화 함

Explain은 Analyze에 비해 실제 Query를 수행하지 않기 떄문에 DB에 부하를 주지 않고 실행 계획을 검토할 수 있음

MariaDB10 부터는 Hash Join 지원, 이전에는 Loof Join

select *
  from empyees a, 
      (select emp_no, dept_no
         from dept_emp where emp_no > 90000
      ) b,
      salaries c
where a.emp_no = b.emp_no
  and a.emp_no = c.emp_no

linline view 에서 조회한 데이터를 어딘가에 저장하는게 아니라, join 해야할 다른 테이블과 merge 되는 것임

조건절 전이되어 emp_no > 9000은 a.emp_no를 보게 됨

실행 계획의 항목

번호가 같으면 같은 SQL 문장 ( SQL 블락 ), 조건절 전이가 일어나면 같은 ID가 됨

select 의 list에 select 가 있는 경우 - oracle에서는 스칼라 쿼리, mysql에서는 서브쿼리

where절에 있는 select는 oracle, mysql에는 동일하게 서브쿼리라고 함

Access Type

Table Access 에 접근한 방법 - 성능에 가장 큰 영향을 미친다.

const	PK, Unique Key 가 동등 비교(전체 동일), oracle에서는 unique Scan
eq_ref	const와 동일, 다른 점은 const는 driving table에 대하여 const 로 나오고 driving table 외에 inner table에 대하여 eq_ref 라고 조회 됨
ref	인덱스를 이용하여 동등 비교
index	index를 탄다는 의미가 아니라 index Full Scan 을 한다는 의미, 종종 이게 성능이 나올 때도 있지만 대부분 성능 개성 포인트
all	index 는 성능 개선이 필요한 부분
range	between 사용 시 나타남, index를 mbetween을 사용하면
unique_subquery	해당 테이블은 oder 할 필요 없음
index_subquery
ref_subquery
ref_or_null

---const, eq_ref, ref 가 나오면 성능 좋은거!!

- index, all 은 는 성능 개선이 필요한 부분

possible_key

Optimizer가 후보로 선정했던 Key 혹은 Index 목록

key, key_len을 이용하여 index에 해당하는 몇 개의 컬럼을 사용했는지 확인 -> index 를 잘 활용했는지를 체크할 수 있다.

possible_key의 ref 는 const를 의미하고 Table의 Access type의 ref, const는 다른 의미!

rows 스토리지엔진에서 엑세스할 것으로 예측한 row수 ( DBMS에서 추려내는 row수가 아님 ) ,

filtered rows에 보여진느 건 수 증 최종에 사용 되는 데이터 건 수 - 높을 수록 좋음, 낮다는 것은 사용하지 않을 데이터를 스토리지엔진에서 가져온 것이기떄문

기타항목 - mysql의 hint 사용여부를 확인

-> using index : 좋은 것, index만으로 쿼리를 실행함을 의미

-> using where : 스토리지 엔진에서 데이터 조회 후 filtering 처리 후에 group by 등 데이터 후행 작업이 있음 -> dbms에서 추가 작업이 있다는 의미, 인덱스가 적절한지 검토해볼 필요가 있음, 스토리지엔진에서 데이터가 filter되어 조회되는 것이 가장 좋음

-> using index condition : 인덱슬르 잘 사용했다면 using index condition이 찍혀야함

-> index_condition_pushdown : 이전에 부정 조건은 스토리지 엔진에서 처리하지 못하고 DBMS엔진에서 처리했음 이 것을 on로 하면 부정조건도 처리하도록 함

-> using temporary

-> using filesort : index로 orderby하면 조회하면서 바로 정렬이 되는데 이것을 활용하지 못해서 별도로 sort를 진행 함.

-> 페이징 처리 쿼리를 조회 했을 때 Extra 항목에 아무것도 없으면 성능이 좋은 것

select type

dependent_subquery : select문이 길 때 이런 서브쿼리가 있구나 파악하기

materialized :

seelct 절에 있는 sub query 가 성능에 문제가 있는지 확인해보고싶다면 하나씩 제거하면서 성능을 비교해보면 됨

* from 절의 select 문은 inline view

* 테이블에서는 alias를 꼭 사용하고, 동일한 테이블을 사용하더라도 alias는 모두 다르게 사용하는 것이 꿀팁

요약

table 좋은거 안좋은거

possible_ke 좋은거 안좋은거

Analyze

주어진 쿼리를 실제로 실행한 후 비용을 계산한 결과를 보여줌

예측 값과 실제 값을 함께 보여줌 ( rows -> 예측 값, r_rows -> 실제 값 , 차이가 많이 난다면 통계를 재실행하기 )

r_rows 는 처음 조회되는 것은 실제 데이터 건수, 이후 부터는 각 join마다 조회해야하는 row수, 곱하기 됨

r_total_time_ms 는 json format에서만 조회 됨, 이게 가장 큰 것을 기준으로 튜닝을 진행하자

ex)

r_rows 는 10만, filtered는 50%이면 r_loofs는 10만, filtered가 100이면 r_loofs는 10만

SQL Hint

힌트의 종류를 확인하고 문법을 찾아보고 사용하기, 문법이 생각보다 쓰기 어려움

MariaDB

Straiget_Join	From 절에 기술한 테이블 순서대로 Join 성능 문제로 잘 사용하지 않음

MySQL

옵티마이저 힌트의 영향 범위에 따라 크게 4개 그룹

-> 글로벌 : 전체 쿼리에 영향

-> 쿼리 블록 : SQL 문장의 특정 쿼리 블록에 영향

-> 테이블 : 쿼리 블록 중 특정 테이블

-> 인덱스 : 테이블의 특정 인덱스에 영향을 미치는 힌트

SEMIJOIN	많이 사용!! anti semi-join의 최적화에 사용
SUBQQUERY	많이 사용!! 서브 ㅜ커리의 세미 조인 최적화 전략, in subquery의 최적화에 사용

https://dev.mysql.com/doc/search/?d=371&p=1&q=hint

MySQL :: MySQL 8.4 Reference Manual :: Search Results

Search Results https://dev.mysql.com/doc/refman/8.4/en/optimizer-hints.html Another way to control the optimizer is by using optimizer hints, which can be specified within individual statements. Because optimizer hints apply on a per-statement basis, they

dev.mysql.com

Join

Nested Loop Join

일반적으로 알려진 Join 방식으로 많이 사용함

데이터가 적은 부분을 선행 테이블로 해야 함

선행 테이블에서 조회된 건수가 성능에 영향을 줌

드라이빙 테이블에서 조회된 순서대로 데이터가 정렬되어 조회 됨 ( 100% 정렬은 아님 )

Block Nested Look Join (BNL Join, MariaDB)

Hash Join

실제 튜닝 사례들..

Table Full Scan 인 경우 -> Index 추가

Index 변경 ->

논리적으로 True인 조건 추가

-> startDt <팝업 조회 일 < endDt 일 때 between만 사용하는게 아니라 now() < endDt 인 논리적으로 T인 조건 추가하여 index 조회 가능하도록 함

데이터 유형 맞추기

-> 숫자와 문자열, 날짜와 문자열

-> 다른 데이터 유형을 비교하면 내부적으로 컬럼에 있는 데이터를 비교 대상 데이터 형식으로 변경하게 됨, 컬럼은 가공하지말고 컬럼 유형에 맞게 검색 조건을 변경하기

-> ex) varchar(1) Col 인데 Col = 1 로 검색 ===> col = "1" 로 변경

-> ex) datetime Col 인데 date_format(Col, '%Y%m') == "2503" 으로 조건 검색 ===> Col = str_to_date("2503", '%Y%m')

-> sysdate() 는 index 불가, now()로 변경 / sysdate는 가변 데이터, now는 쿼리가 실행될때 고정 됨

-> select sysdate() from table limit 10 하면 각 sysdate 값 ms 단위로 다름, row마다 실행되는 가변데이터임

Order By 주의하기

여러 테이블을 Join 할 때 Index가 존재하는 Table의 Alias를 사용하여 order by 진행하기

1개의 조건으로 total count를 조회하는 Left Outer Join 을 여러개 사용해야하는 경우 eq_ref 기 때문에 상위 테이블만 사용하면 됨.

전체 count하는 쿼리와, 데이터를 조회하는 쿼리를 분리해야 함

조건절에 Case 문장 -> OR로 수정

Join Update/Delete

MariaDb/MySql은 Update나 Delete시에 Join을 이용하여 작업하는 것이 가능함, 의외로 Join을 이용한 Update, Delete가 성능에 매우 유용한 경우가 있음

Oracle에서 Mysql 변경 시 자주 보이는 사례

|| => 문자열 합치기

ENP_NO >= '2024' \|\| '1111' 의 의미는
oracle	mysql
ENP_NO >= '20241111'	ENP_NO >= ('2024' or '1111')

Order by, Limit 가 존재하는 Select 구문에서 SubQuery 사용하는 경우 꼭 개선해야함

Index 를 실행하지 못하고 전체 데이터를 읽게 됨

limit 10 이 있는 경우 driving table에서 1건 조회 후 inner table에서 조회 이미 10개가 채워지면 다음을 진행하지 않음

explain에 type = all 로 되어있어도 limit 가 있으면 성능이 괜찮을 수도 있다.

group by 는 merge가 일어나지 않는다

show warings-> 실제 실행되는 쿼리를 보여줌 select * 라면 어떤 컬럼이 읽혔는지 등등

---

PK는 Clustered Index,

Lateral Join

운영 중인 서비스에서 index를 만들때 invisable로 만들고 사용하면 됨

형 변환 우선순위! 주의

window 함수의 장점은 group by 없이 count(*) 등 함수 사용할 수 있음 ex) count(*) over() as tot_cnt

Mendix 10.12 -> 10.19 버전 변화 내용

k9e4h — Wed, 19 Feb 2025 17:56:48 +0900

10.13

Microsoft SQL Server용 JDBC 드라이버를 버전 12.6.3으로 업그레이드했습니다. Database Connector 와 같은 모듈 에서 통합 보안을 사용하여 SQL Server에 연결하는 경우 userlib 의 JDBC 드라이버도 업데이트해야 할 수 있습니다.

react-native 0.73.8 버전으로 업그레이드했습니다.
react-native-device-info 11.1.0 버전으로 업그레이드했습니다.
react-native-fast-image 8.6.3 버전으로 업그레이드했습니다.

10.14

Microsoft SQL Server용 JDBC 드라이버를 버전 12.8.0으로 업그레이드했습니다. Database Connector 와 같은 모듈 에서 통합 보안을 사용하여 SQL Server에 연결하는 경우 userlib 의 JDBC 드라이버도 업데이트해야 할 수 있습니다.
10.12.0에서 공개 베타로 도입된 Git 부분 애플리케이션 복제가 이제 일반적으로 사용 가능합니다. 부분 복제는 필요한 최소한의 데이터 세트를 다운로드하므로 이 방법은 대규모 저장소 에서 작업할 때 전체 복제보다 훨씬 빠릅니다. Open app settings 또는 version control preferences 에서 새 앱이나 branch 다운로드하는 것과 같은 향후 복제 작업에 대한 복제 전략을 선택할 수 있습니다.

10.15

MariaDB 11.4에 대한 지원을 추가했습니다.
MySQL 8.4에 대한 지원을 추가했습니다.
이제 REST 호출이 완료된 후 익명 사용자를 정리합니다.
Microsoft SQL Server용 JDBC 드라이버를 12.8.1 버전으로 업그레이드했습니다.
외부 데이터베이스 커넥터에 다음과 같은 업데이트를 적용했습니다.
- JSON을 매개변수 값으로 포함하는 하드코딩된 문자열과 외부 데이터베이스 쿼리 활동에 대한 지원을 추가했습니다 . (티켓 223881)
- 외부 데이터베이스 쿼리 대화 상자 에서 확인 에 대한 키보드 단축키로 Ctrl+를 추가했습니다 . (티켓 223881)Enter
- Oracle DB에 구성된 경우 TAF 모드를 수정하기 위해 Oracle Library를 23.5.1로 업데이트했습니다 FAILOVER_TYPE=SELECT. (티켓 225454, 226404)
- Query External Database의 매개변수 섹션에 스크롤을 추가했습니다. (티켓 227464)
- 이제 새 열 및/또는 삭제된 열로 기존 엔터티를 업데이트할 수 있습니다.
- 새로운 쿼리를 생성할 때 이제 동일한 데이터베이스 연결 문서의 다른 쿼리에 매핑된 기존 엔터티를 재사용할 수 있습니다.
- We now correctly take into account the excluded jars of managed dependencies when compiling Java actions.

10.16

Java 17을 사용하는 경우 사용 중단 경고를 추가했습니다.
환경 설정 > 배포 에 관리되는 Java 종속성의 동기화를 비활성화하는 새 설정을 추가했습니다 . 이를 사용하면 Gradle 동기화가 실패하더라도(예: 에어갭 환경) 애플리케이션을 시작할 수 있습니다. Java 종속성이 누락된 경우 컴파일 오류가 발생할 수 있으며 복제 및 버전 충돌을 수동으로 처리해야 합니다. 동기화가 비활성화된 경우 SBOM 생성이 지원되지 않습니다.
이제 우리는 내보낸 앱과 모듈 패키지에 Java 종속성을 포함합니다. 이는 Gradle 동기화가 비활성화된 경우 사용됩니다.
Mendix Runtime API 호출을 더 이상 사용하지 않고 . ICore#addSessionCookies으로 대체했습니다 ICore#addMendixCookies. 이 새로운 API 호출에는 애플리케이션이 실행되는 경로가 필요하지 않습니다.
영어의 기본 날짜 패턴에서 사용자가 날짜 및 시간 입력 필드에 끊지 않는 공백을 삽입해야 하는 문제를 해결했습니다. (티켓 225500)

10.17

We now allow you to define parameters of microflows and nanoflows as optional using the Argument property. This means they can be called with an empty argument expression
App Configurations에 Headers 라는 새 탭을 추가했습니다 . 이 탭을 사용하면 개발 중에 사용할 헤더를 로컬로 구성할 수 있습니다. (로컬만인듯)
앱에서 단위 크기에 대한 통계를 볼 수 있는 새로운 CLI 명령을 출시했습니다. 자세한 내용은 MPR Analyze Command를 참조하세요 .
도움말 메뉴 > 지원 도구를 통해 Studio Pro 로그 수준을 변경하는 기능을 추가했습니다 .
Java 동작을 컴파일할 때 전체 디버그 정보를 포함할 수 있도록 하는 ' 전체 디버그 정보 생성' 이라는 새로운 설정을 환경 설정 에 추가했습니다 .
지원 중단
공급업체에서 더 이상 PostgreSQL 12를 지원하지 않으므로 이에 대한 지원을 중단했습니다.
우리는 더 이상 사용하지 않습니다 . 대신 ICoreAction.getMetaInfo사용할 수 있습니다 .ICoreAction.getMetaInfoJsonString
알려진 문제
Call REST 서비스 또는 Send REST 요청 활동 에서 보낸 아웃바운드 REST 요청의 본문은 Studio Pro 버전 10.16까지 적용된 인코딩인 UTF-8 대신 ISO-8859-1 인코딩을 사용하여 잘못 포맷되었습니다. (티켓 235194, 237487)

10.18

열 이름에 공백과 특수 문자가 포함된 SQL 쿼리에 대한 지원이 외부 데이터베이스 커넥터에 추가되었습니다.
Call REST 작업에서 파일 문서를 요청 본문으로 사용하면 Content-Length 헤더가 없는 HTTP 요청이 발생하는 문제를 해결했습니다.
We fixed an issue where deployment failed when an entity had one system association (owner or changedBy) already in the database and a second one was added later.
We made improvements to the Changes pane:
- Users can now resize columns to display the complete file path. Additionally, users can hover over the path to see the full file path in a tooltip.
- We updated the button labels in the Changes pane, and certain dialogs to use local and server instead of mine and theirs for selecting the source when resolving file conflicts.
MPRv2 format
Studio Pro 의 변화 창에서 파일 변경 사항을 보고 충돌을 직접 해결할 수 있는 기능을 추가했습니다. 이제 파일 비교 도구를 열어 수정된 파일을 검토하거나 변화 창에 나열된 변경된 파일이 있는 폴더로 이동할 수 있습니다. 충돌을 해결하려면 로컬 버전을 유지하거나 수신 서버 버전을 수락하기만 하면 됩니다. 이 업데이트는 프로젝트 및 디스크 파일 관리를 간소화합니다. 자세한 내용은 Studio Pro 에서 버전 제어 사용 의 상태 섹션을 참조하세요.
Mendix Runtime API 에 데이터베이스 설정에 액세스하기 위한 새로운 메서드인 getDatabaseSettingAsString() 을 구현했습니다.
Gradle 8.5 미만 버전은 더 이상 지원되지 않습니다.\
CSS 파일의 줄 끝이 제대로 처리되지 않으므로 모든 변화 되돌리기를 사용하거나 다른 버전 제어 작업을 수행할 때 CSS 파일이 디스크 변화 대화 상자에 나타납니다.

10.19

Online Synchronization Mode (Beta)
PostgreSQL 또는 MariaDB/MySQL과 jdbc:aws-wrapper: 로 시작하는 DatabaseJdbcUrl 을 사용하는 경우 이제 AWS Wrapper JDBC 드라이버를 사용하여 데이터베이스에 연결합니다.
We updated the External Database Connector, which now supports connecting to any database by using the Java dependency specified by the user for the respective database in the module settings.
엔터티에 이미 데이터베이스에 하나의 시스템 연결( owner 또는 changedBy )이 있고 나중에 두 번째 연결이 추가된 경우 배포가 실패하는 문제를 해결했습니다.
CustomJavaAction을 더 이상 사용하지 않습니다. 대신 UserAction을 사용하세요. Studio Pro 이제 Java 작업의 기본 클래스로 UserAction을 사용합니다.

패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(6)

k9e4h — Tue, 11 Feb 2025 15:42:22 +0900

Open AI Finetuning UI

https://platform.openai.com/finetune

파일 튜닝 용어 정리

1) Base model - 공부 전의 학생

2) Train - 공부

3) Tokenizer : 책 내용을 작은 단위로 나누어 정리하는 도구

4) Epochs (이포크): 학습 반복 횟수

- 학생이 교재를 처음부터 끝까지 읽는 횟수

5) Batch Size (묶음 크기)

- 학생이 한 번에 공부하는 양, 한 번에 한 장? 한 단원?

6) Learning rate (학습률): 학생이 새로운 정보를 배우는 속도

- 너무 빠르면 이해가 부족하고, 너무 느리면 비효율적

7) Weight decay (가중치 감소)

- 학생이 공부하면서 중요하지 않은 세부 사항에 너무 만흥ㄴ 신경을 쓰지 않도록하기

- 과도한 정보 축적으로 인해 집중력이 흐트러지는 것을 방지

8) Gradient clipping

- 과도한 스트레스나 혼란을 피하기 위해 공부량을 제한.

- 흥분을 가라앉히고 꾸준히 학습할 수 있도록 함

- 기울기 제한? 기울기 자르기

9) Sequence length

- 학생이 한 번에 집중해서 공부할 수 있는 문장의 길이

- 너무 길면 이해하기 힘들고 너무 짧으면 문맥 파악이 어려움

10) PEFT (피이에프티 , Parameter-Efficient Fine-Tuning)

- 중요한 부분이나 자신에게 필요한 부분만 선택적으로 공부

- 이미 알고 있는 부분은 복습 생략, 새로운 부분만 학습, 시험 제출 가능성이 높은 부분만 복습 등

- 원래 FineTuning은 전체를 튜닝하는 것

11) LoRA (로라)

- 학생이 주요 개념을 이해한 후, 세부 사항을 간단하게 추가하여 이해를 확장하는 것

- 압축하는것, 태종태세문단세...

12) QLoRA

- 모델 가중치를 양자화(정밀도 감소)하여 LoRA하는 것

- 3.1415926535 를 3.14로 만듬, 저장 공간이 적게 필요함. 연산에 필요한 리소스를 줄임

---

FineTuning 튜토리얼 순서

모델 로딩 - 데이터 로딩 - 파라미터 세팅 - 훈련 - 테스트 - 설치

https://www.deeplearning.ai/

Home

DeepLearning.AI | Andrew Ng | Join over 7 million people learning how to use and build AI through our online courses. Earn certifications, level up your skills, and stay ahead of the industry.

www.deeplearning.ai

https://github.com/mlabonne/llm-course/blob/main/Fine_tune_Llama_2_in_Google_Colab.ipynb

llm-course/Fine_tune_Llama_2_in_Google_Colab.ipynb at main · mlabonne/llm-course

Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks. - mlabonne/llm-course

github.com

https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi

Fine-tune Llama 3 with ORPO.ipynb

Colab notebook

colab.research.google.com

https://github.com/aws/amazon-sagemaker-examples/tree/c3ce68a9ef9fc527c88b081c1466f18a4ed99530/introduction_to_amazon_algorithms/jumpstart-foundation-models

amazon-sagemaker-examples/introduction_to_amazon_algorithms/jumpstart-foundation-models at c3ce68a9ef9fc527c88b081c1466f18a4ed99

Example Jupyter notebooks that demonstrate how to build, train, and deploy machine learning models using Amazon SageMaker. - aws/amazon-sagemaker-examples

github.com

https://colab.research.google.com/drive/1bexb6SiEdy_8bwp8UgqNWDRg9LWpa_Kz?usp=sharing

FastCampus_Amazon Sagemaker Fine tuning code extract

Colab notebook

colab.research.google.com

https://colab.research.google.com/drive/1YkjiVtnpLFV4zZI7c04FeElM4DNYI7hb?usp=sharing

FastCampus: Alpaca + Llama-3 8b Unsloth 2x faster finetuning.ipynb

Colab notebook

colab.research.google.com

----

직접 foundation model 만들기

1. 데이터 수집 및 전 철

- 데이터 수집, 정리, 표준화 등등

2. 모델 아키텍쳐 및 학습 방법 결정

- Transformer, GPT-3, Megatron-Tuning NLG등

- 컴퓨팅 자원이 많이 들어간다

- 데이터가 많이 필요하고 학습하는데 시간과 비용이 많이 든다.

Transformer

- 구글에서 2017 만들어진 대표적인 모델 아키텍쳐 , 문맥 이해에 월등함

- 인코더+ 디코더 : 입력 텍스트 처리는 인코더, 출력 테스트는 디코더

BERT (구글 2018)

- 인코더에 집중, 이해에 집중, 모델이 크고 계산량 높음

GPT-3 ( OpenAI)

- 디코더에 집중, 생성에 초점, 창의적임, 답변 잘함, 답변 계산량 높음

3. 모델 평가 및 개선

- 평가 방법 BLEU, ROUGE, CIDEr

- 추가 학습, 하이퍼 파라미터 조정을 반복하여 개선 ( 학습률, 배치 크기, 에포크 수, hidden layer 수, 뉴런 수 등등 )

---

LoRA (Low Rank Latent Representation - 저차원 나중 표현)

파인튜닝은 거의 다시 학습하는데 LoRA는 마지막 부분만 실행하게 함, 어댑터를 끼우는 느낌

저차원 행렬(metrics)를 사용하여 가중치를 수정

Quantization 양자화

아날로그 언어를 디지털화할 때 사용하는 용어

계속되는 값이 아니라 뚝뚝 떨어지는 불연속적인 값

근사치로 표현

단순화하여 모델 크기, 메모리 공간을 줄여 속도 높이고 좋은 하드웨어 없이도 동작하게 함

정확도 손실, 하드웨어 호환성

QLoRA 실습

https://github.com/peremartra/Large-Language-Model-Notebooks-Course/blob/main/5-Fine%20Tuning/QLoRA_Tuning_PEFT.ipynb

Large-Language-Model-Notebooks-Course/5-Fine Tuning/QLoRA_Tuning_PEFT.ipynb at main · peremartra/Large-Language-Model-Notebooks

Practical course about Large Language Models. . Contribute to peremartra/Large-Language-Model-Notebooks-Course development by creating an account on GitHub.

github.com

---

Ollama 울라마

API Key 없이 Local PC에서 LLM 실행 가능

데이터 보안, 비용등에서 장점이 있음

https://ollama.com/

Ollama

Get up and running with large language models.

ollama.com

----

LLM Ops Stack

데이터 - 훈련 - 서비스 만들기 - 서비스 사용하기 - 서비스 모니터링

데이터 파이프라인 - 데이터 수집 및 전처리

모델 훈련 학습 인프라 및 프레임워크,하이퍼 파라미터 튜닝 및 최적화

배포 - containerization, orchestration, 확장성/로드 밸런싱

모니터링 - latency, requests conpleted, model drift, updates

* model drift = 학습 내용이 노후화되어 반응이 적절하지 않게되는 것

---

LLM 을 서비스할 때 직면할 수도있는 문제들

1) 프롬프트 버전 관리

- Meta 프롬프트 자체도 업데이트되어야하기때문에 버저닝등 관리해야 함

2) 배치/벌크 테스팅

3) 데이터 파이프라인 인터페이스 만들고 관리하기

4) 모델 스피드/가격/성능 요구에 따라 다른 모델 쓰기

5) 모델 로드 밸런싱

6) 병목현상 찾기

7) 품질 저하 이유 찾기

8) 데이터 retrieval 최적화

9) Retrieved data 스토리지 최적화 및 관리

10) 데이터 로깅 vs RAI 요구사항 맞추기

11) Regression 테스트 만들기

- prompt 업데이트나 모델이 변경했을 때 기본적인 테스트 셋이 있어야 함

- regression

https://www.launchableinc.com/blog/seven-types-of-regression-testing/

12) SLA, KPI 만들고 모니터링하기

- Service Level Agreement

---

LLM 속도를 향상 시키기 위한 전략 / LLM 속도 개선

1) 모델 경량화

- 가지치기(pruning) : 불필요한 모델 파라미터 제거

ex) 한국어만 필요하다면 일본어는 제외한다

- 양자화(quantization) : 모델 파라미터의 정밀도 감소, 32bit 파라미터를 8bit 로 감소시킨다던지( 소수점을 정수로 변환 등 )

- 지식 증류 (knowledge distillation) : 작고 빠른 모델에 지식 전달, 대규모 모델에 있는 지식을 전달

2) 추론 최적화

- 배치 처리 : 여러 오쳥을 한 번에 처리

- 캐싱 : 자주 사용되는 결과 저장 및 재사용

- 하드웨어 가속(Hardware Acceleration) : GPU, TPU 등 활용

3) 코드 및 알고리즘 최적화

- 효율적인 알고리즘 사용 : 요리하는 시간은 같아도 배달하는 시간을 단축 시킨다면 사용자는 더 빨리 음식을 받을 수 있다.

- 병렬처리

- 비동기 처리 : 실무에서는 가장 많이 쓰는 방법,

4) 클라우드 리소스 최적화

- 인스턴스 유형 선택

- 자동 확장 (Auto Scaling)

- Spot Instance, 유휴 리소스 활용

- 컨테이너화 : Docker, Kubernetes : 자원의 격리와 효율적 사용

- 서버리스 켬퓨팅

5) 모델 압축 및 공유

- 모델 가중치 공유 : 여러 모델 간 가중치 공유

- 모델 압축 (Model Compression) : 모델 크기 축소

6) 에너지 효율적인 하드웨어

- 저전력 GPU, TPU 사용

- 에너지 효율적인 데이터 센터 활용

7) 모니터링 + throttling

---

LLM 과 보안

1) Prompts

- Prompt leakage : 프롬프트 노출, 유출 ex) 프롬프트에 정치적인건 얘기하지마라, 경쟁사 제품 추천해주지마라 이런 것들이 노출 될 수도 있으니까

- Prompt hijacking (하이제킹) , Prompt Injection

2) Data

- Use RAG

- Monitor "agents" : AI의 권한 주의

- 로깅 주의

3) 세션 데이터 관리 - compliance 주의

4) 재 훈련할 때의 데이터 관리

5) API Call Security

LLM에서의 보안 대상은?

사용자 보호, 사용자로서의 시스템 보호, 회사 보호

모댈 개발, 입/출력, 프라이버시, 해커, 의도치 않은 데이터 유출, 접근 허용에 보안적인 주의가 필요 함

---

LLM 보안 가이드라인

1. 데이터 수집

- 데이터 프라이버시 : 수집된 데이터가 데이터 보호규정(GDPR, CCPA등)을 준수하도록 함. 익명화

- 데이터 유효성 검사 : 데이터 주입 공격을 방지하고 데이터가 악성 콘텐츠가 없도록 하기 위해 입력 데이터를 검증하고 정리

- 보안 전송 : 전송 중 데이터를 보호하기 위해 Https, SSL/TLS 등의 보안 프로토콜을 사용

2) 데이터 관리

- 접근 제어 : 엄격한 접근 제어 및 역할 역할 기반 접근 관리 (RBAC)를 구현하여 권한이 있는 사람만 민감한 데이터에 접근

- 암호화 : 휴지 상태 및 전송 중인 데이터를 암호화하여 무단 접근 및 유출을 방지

- 감사 로그 : 무단 활동을 모니터링하고 법의학 분석을 지원하기 위해 데이터 접근 및 수정의 자세한 로그를 유지

3) 모델 학습

- 데이터 무결성 : 데이터 중독 공격을 방지하여 모델읳 ㅐㅇ동을 조작하지 않도록 학습 데이터의 무결성을 보장

- 프라이버시 보호 기술 : 학습 데이터의 민감한 정보를 보호하기 위해 차등 프라이버시와 같은 기술을 사용

- 모델 보안 : 학습 환경을 정기적으로 업데이트하고 패치하여 취약점ㅇ르 방지

4) 프롬프트 관리

- 입력 정리 : 주입 공격을 방지하고 악성 콘텐츠가 포함되지 않도록 프롬프트를 정리하고 검증

- 접근 제한 : 권한이 있는 사용자만 프롬프트 관리 인터페이스 접근할 수 있도록 제한

- 모니터링 : 시도된 공격을 나타낼 수 있는 의심스럽거나 비정상적인 활동을 모니터링

5) 모델 배포

- 보안 환경 : 모델을 잠재적 위협으로부터 격리하기 위해 VPC와 같은 보한 환경에 배포

- 컨테이너 보안 : 보안 구성 및 정기 업데이트를 통해 취약점을 완화

- API 보안 : 인증 및 권한 부여 메커니즘, 속도 제한, 입력 유효성 검사로 API 엔드포인트를 보호

6) 어플리케이션 보안

- 코드 검토 : 정기적인 코드 검토 및 보안 평가를 통해 취약점을 식별하고 완화

- 종속성 관리 : 알려진 취약점을 보호하기 위해 도구를 사용하여 Dependency를 스캔하고 업데이트

- 사고 대응 계획 : 보안 침해에 신속히 대응하고 피해를 완화하기 위해 사고 대응 계획을 개발하고 유지

7) 사용자 인증 및 권한 부여

- 강력한 인증 : 사용자 인증 보안을 강화하기 위해 다중 요소 인증(MFA)를 구현

- 세션 관리 : 세션 하이재킹 및 고정을 방지하기 위해 안전한 세션 관리 방법을 사용

- 권한 부여 검사 : 적절한 접근 제어를 보장하기 위해 권한 부여 검사를 정기적으로 검토하고 업데이트

8) 모니터링 및 로깅

- 지속적인 모니터링

- 로그 관리

- 이상 탐지

* 각 주제마다 지원하는 파이썬 라이브러리들이 있음

---

Evaluation

한가지 평가로 LLM 모델이 좋은지 아닌지 판단 할 수는 없다.

무엇에 이 모델을 쓸 것인지 시나리오를 고려해야 한다. -> RAI, 보안, UI 등에 영향을 미침

LLM의 답변만으로 평가를 하는 것이 아니다.

사용자 질문에 제대로된 답변을 했는가

사용자의 질문 의도를 파악하고 질문을 만들어 내는 것 = rewrite 하다

ex) 사용자 - 요즘 돈이 없어서 생활이 너무 힘들고 우울하다

대출 시스템에서 rewirte된 질문은 돈이 없는데 "대출이 가능할까?"

상담 시스템에서 rewrite된 질문은 생활이 힘들고 우울한데 "생활고를 이길 방법이 있을까?"

해당하는 답변을 성공적으로 찾아왔는가?

Precision, F1, recall

여러 답변 중에서 몇개를 사용 할 것인지? threshold setting

파이썬에서 LLM 평가 라이브러리 - RAGAS

가져온 자료 = RAG에서 찾은 자료

얼마나 자료에 충실하게 정확하게 대답했는가,

얼마나 질문에 맞는 대답을했는가,

자료가 도움이되었는가

자룔르 얼만 ㅏ사용했는가 (쓸데없이 많이 가져왔는가 )

자료 중에 정답에 쓰인 부분이 어디에 위치해있는가 (중요성 랭킹)

---

ann architecture

패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(5)

k9e4h — Tue, 4 Feb 2025 18:46:23 +0900

----

지금까지 RAG 가 무엇인지 보았고, RAG를 위해 필요한 embedding을 학습했다

RAG 아키텍처 타입

질문이 들어옴 -> 답변을 열심히 찾아서 정리해서 옴 -> 아나운서에게 이거 보고 답변하라고 함

"답변에 필요한 정보를 찾아서"

"정리해서"

- 물어볼만한 답변을 밀 ㅣ폴더에 잘 정리해 두기

- 사연도 정리해두기

- 유툽 댓글도 리서치 해서 잘 정리해두기

- 다시 한 번 추출해서 정리하기

RAG 아키텍쳐 샘플

---

기존에 가지고있는 데이터를 Json으로 만들어서 Vector DB 형태로도 사용 함

---

Grounding (얼마나 사실에 기반하는지) 하기 위해 많이 사용하는 것이 RAG, FineTuning

Fine Tuning 미세 조정

ex) Oracle 로 하면 잘 되는데 Postgresql로는 안돼요..

ex) FineTuning을 많이하면 모델의 기본 기능이 저하될 수도 있음

==> RAG 와 파인튜닝은 상호 보완적인 기법이다

==> 최신 응답, 최소한의 허위 생성, 적응령을 위해 ㄲㅁㅎfmf tjsxor

==> 충분한 훈련 데이터가 있는 특정 도메인에서 우수한 정확성을 위해 파인튜닝

==> 같이 사용하여 하이브리드 모델을 생성

ex) 복약지도 - 약의 대한 내용은 자주 바뀌지 않고 질문과 답이 확실한 경우 FineTuning을 사용하고, 특정 환자에게 복약 지도를하는 것은 RAG를 사용한다

FineTuning이 많이 쓰이는 분야

== 정해지고 반복될 때,

새로운 장르, 혹은 분야

- 의료/과학/보험/자동차/리테일 등 그 분야 내 고유의 언어 혹은 문제 풀이 방식이 있을 때

특정한 일을 수행 할 때 퍼포먼스 올리기

- 번역 혹은 특정한 컨텐츠를 생성할 때

아웃풋 방시이 특수할 때

- 코드 생성, 텍스트의 분위기 설정, 디테일 레벨 설정 등등

새로운 데이터에 적응 할 때

- 고객지원, 번역, 텍스트 감정분석, 특정 분야 내의 질답 FAQ

파인튜닝이 별로 일 때

- 데이터셋이 적을 때

- 원 모델의 훈련 데이터와 내가 쓰고 싶은 시나리고가 아주 다른 경우 파인튜닝으로 극복 안 되는 경우가 많음

- 모델을 자주 업데이트 혹은 수정해야함

- 더 단순한 방법이 있을 때..

----

https://velog.io/@adc0612/stateful%EA%B3%BC-stateless-%EC%B0%A8%EC%9D%B4-7tfkp7a4

stateful과 stateless 차이

클라이언트-서버 관계에서 서버가 클라이언트의 상태를 보존함을 의미한다.클라이언트의 이전 요청이 서버에 잘 전달되었을 때, 클라이언트의 다음 요청이 이전 요청과 관계가 이어지는 것을

velog.io

https://5equal0.tistory.com/entry/StatefulStateless-Stateful-vs-Stateless-%EC%84%9C%EB%B9%84%EC%8A%A4%EC%99%80-HTTP-%EB%B0%8F-REST

[Stateful/Stateless] Stateful vs. Stateless 서비스와 HTTP 및 REST

Contents 0. Prologue 1. Stateful Service 2. Stateless Service 3. Why Stateless Service 4. Stateless Service 및 HTTP, 그리고 REST Stateful/Stateless 서비스의 개념을 알아보고, 이를 바탕으로 Stateless 서비스가 최근 각광 받는 이

5equal0.tistory.com

---

< 시스템에 LLM 을 활용하는 방법 / LLM 활용 법, LLM 비즈니스, LLM 난이도 별 서비스 >

서비스가 복잡할 수록

전문 용어가 많거나, 데이터가 많지 않은 경우 -> RAG를 쉽게 구현 가능한 경우..

실시간이 중요한 경우

정확도가 중요한 경우 ( 메뉴 추천 같은 경우는 정확도 필요 없으니까... )

multi-turn을 제공해야할 때..

사용자가 많을 수록

LLM 도입에 고려해야할 것이 많아진다. 시간이 소요된다. 복잡해진다.

---

http://www.ktword.co.kr/test/view/view.php?no=4086

결정론적

Deterministic, Nondeterministic 결정론적, 비결정론적(2023-05-30)결정론적 모델 비결정론적 모델 비교, Deterministic Model, 결정론적 모델, 결정적 모형, Deterministic, 결정 신호, 확정 신호, Statistical Mode, 통

www.ktword.co.kr

---

언어모델은 동일한 질문도 다양하게 질문할 수 있기 때문에, TC가 다양하여 답변의 질을 확실하게 테스트 할 수가 없다.

RAG가 있다던지하면 Data retrieval 스텝별로 테스트도 필요하다, 디자인할 때부터 데이터 소스가 여러 곳이라면 Unit Test 방법을 고안하는 것이 좋다.

---

< LLM 디자인의 기본 >

1. LLM 사용 최소화

- 최대한 LLM 사용을 줄이고, 가능한 경우 결정론적 프로그래밍 언어 사용

- 비용 절감 : LLM은 계산 비용이 많이 드는 반면, 결정론적 언어는 효율적

- 속도 향상 : LLM 추론 속도는 느릴 수 있지만, 결정론적 언어는 빠르게 실행

- 테스트 용이성

- 유지 보수 용이성 : 결정론적 코드는 이해하고 유지 관리하기 쉬움

2. 처음부터 확장성 및 안정성 고려

- 시스템 설계 단계부터 확장성과 안정성을 고려해야 함 / 안정적인 API 디자인!!

- 느린 속도

- 높은 비용

- 예측 불가능한 결과

- 상용 서비스 제공 시 중

3. 응답 품질 확실한 테스트

- 특히 민감한 분야 ( 의료, 정부, 볍률, 금융 ) 시스템 응답 품질 엄격하게 테스트 해야함

- 이유 : 부정확한 정보, 편향된 겨로가, 비윤리적 결과, 법적 책임

4. RAI, 데이터 개인 정보 보호, 보안 고려

- 책임 있는 AI(RAI), 데이터 개인 정보 보호, 보안은 LLM 시스템 설계 필수 요소

- 윤리적 문제 : 편향 ,차별, 악용 등 윤리적 문제 발생 가능성

- 개인 정보 침해

- 시스템 해킹 : 보안 취약점 악용시 시스템 손상 및 데이터 유출 가능성

5. 운용 비용 고려

- 파인 튜닝, RAG 시스템 등등

6. LLM 디자인 간소화하기

1) 싱글턴 vs 멀티턴

- 작업 유형 vs 데이터 양 vs 사용자 경험 을 고려하여 정하기

2) 데이터 소스 숫자 줄이기 ( 데이터 출처 )

3) 사용자 세선 서포트 최소화 하기

어떤 모델을 사용할 수 있을까 고민하기 전에

어떤 데이터가 있는지 데이터 서빙부터 시작하자.

---

어떤 모델이 좋은지 평가하는 기준 evaluation metric , 그러나 이 메트릭도 계속 변경 됨

패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(4)

k9e4h — Sat, 1 Feb 2025 18:04:20 +0900

embedding을 만든다 = 단어나 문장을 숫자 배열/리스트로 만든다

vector에서 검색하는 것은 기존 RDB의 PK 를 찾는 것이 아니라 vector 주변 값을 찾는 것

"키", "찾는 방법"을 임베딩으로 지정 -> Vector DB

Vector를 Key로 가진다

문서를 조각화하여 그 조각에서 키워드 또는 핵심 문장을 찾아 embedding 한다.

사용자 질문은 이런거이고, 유투브에서 데이터를 가져왔어. 이걸 가지고 답변을 해줘.

이 내부 로직들은 API에서 제공

Vector DB 종류

- pinecone, weaviate, QDrant, Milvus, Chroma 등의 전용 벡터 데이터베이스

- pinecone은 서비스로서의 소프트웨어로 성공적인 사례

- weaviate, QDrant, Milvus는 클라우드 서비스와 함께 오픈 소스로 쉽게 배포 가능

- Chroma는 SQLite와 유사해 작은 프로젝트에 적합

- FAISS (파이스)

기존에 있는 DB에 embedding으로 검색하고 싶은 경우 벡터인덱스 지원하는 제품을 사용할 수도 있다.

AMZ : Elasticsearch, Redis, Postgres 등이 벡터 인덱스 지원

MS : Cognitive Search

Pre-processing

문서를 로딩해서

Chunkig - 조각화하여

임베딩 계산 후 Vector index에 저장

Runtime

사용자 질문에서 임베딩 계산하여 벡터DB에 가서 유사도를 검색한다.

Meta Prompt -> 사용자 질문을 감싸는 프롬프트

ex)

사용자 질문 : 만두나 김밥 먹을까?

Meta Prompt : 사용자가 원하는 품목 [만두] 종류 몇 개 예를 들면서 어떻게 맛있게 먹을 수 있는지 추천해줘

- vector db에서 만두와 유사한 상품과 예를 들어 상품정보등을 같이 프롬프트로 전달해줌

응답 : 오늘은 매콤한 사천 군만두 어떠세요? 김치 물만두는 오늘 세일이네요!

---

Rangking , cutoff

검색의 문제

불필요한 내용이 검색될 수도 있고 검색 내용이 너무 많을 수도 있음 -> 토큰 수 늘어남, 결과 부정확함

가장 유용한 몇 개만 가지고와서 프롬프트 템플릿을 만들고 LLM에 보내기

사용자가 원하는 음식은 [만두 김치만두 김밥 떡볶이 엽기떡볶이 탕수육 ...] 이다

사용자가 원하는 음식은 [만두 김밥]이다.

---

벡터를 찾기 쉽게하기 위해서는 모여있어야 함

정해진 사이즈 청크

- 긴 글은 문장의 흐름이 있기 때문에 흐름에 맞게 정해진 사이즈만큼 문장을 나눠야 함.

-> 문장이 중간에 끊겨도 내용이 연결될 수 있게 청크가 조금씩 겹치게 만든다.

처리하는 문서가 늘 비슷한 포맷이라면 커스텀 청킹이 가능하지만 다른 포맷의 문서에는 적용하기가 어렵다.

청킹을 문장별로? 줄 수 대로? 페이지별로? 문단별로?

고정 크기 청킹 (보통 1024 토큰)

-> 구현 간단, 예측 가능

-> 중간에 끊어지면 의미 손실

동적 크기 청킹/semantic ( 데이터의 내용에 따라 블록의 크기가 달라지는 방법)

-> 유연하고 효율성 증가

-> 구현이 복잡함

정확도 vs 속도

작은 임베딩 : 정확한 임베딩, 그러나 처리하는데 훨씬 오래 걸림

- 한문장씩 임베딩 가능 그러나 찾을 때도 문장 하나하나 찾아야하기 때문에 속도가 오래 걸림

큰 임베딩 : 빠르지만 정확도가 낮음

---

Vector 인덱싱, 찾기 툴 문제

특히나 소설 같은 경우에는 컨텍스트 없이 이해하기 어려움.

비슷비슷한 유사도일때는 어떤 것을 선택해야할 것인가?

이런 것들이 모두 토큰, 비용이 듬. 임베딩을 만드는 것도 비용

LlamaIndex (라마인덱스)

PDF, DB, API 에서 데이터를 받아서 청킹, 인덱스를 만들어 줌

Langchain tools - text splitters

-> 문장, 문단, HTML, code, markdown 등을 split 할 수 있음

-> userDefined ( custom character )

---

후처리 Post-processing

1. Relevance

2. moderation 내용 검열 ( 사용자 쿼리에도 적용)

- oepn api 에서 API 제공 ( moderations )

- 사용자 쿼리에서도 사용 가능 (pre-processing)

3. RAI(윤리적 AI)

4. groundedness 사실기반

5. correctness

6. cosine similarity

---

Moderation API - 이상한 질문은 미리미리 차단하자.

프롬프트에 제약사항을 모두 prompt에 넣기 전에 request 넣기 전에 질문을 검열하여 prompt의 토큰을 가볍게 만들자.

def get_moderation_results(text):
  response = client.moderations.create(input=text)
  output = response.results[0].to_dict()
  flagged = output["flagged"]
  rules_contravenced = []
  for key, value in output["categories"].items():
    if value == True:
      rules_contravenced.append(key)

https://platform.openai.com/docs/guides/moderation

Azure의 Moderation API 에서는 policy 도 존재

Gcp에서는 sapty_ratings로 제공

---

groundedness

얼마나 사실에 기반했는지

Ragas (라가스) - python 라이브러리

https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/

생성

- Faithfulness 사실인가?

- Answer relevancy : 질문과의 관련성

검색

- Context precision : 가져온 정보의 signal to noise - 랭킹

- context recall : 가져온 정보로 충분한가

그 외

- Context relevancy : 필요한 정보만 있는가

- context entities recall : 가져온 정보중 몇 개를 썼는가

- Answer semantic similarity : 답변과 ground truth 유사도

=> metric 다양하게 넣고 테스트해보기

dataset.append(
        {
            "user_input":query,
            "retrieved_contexts":relevant_docs,
            "response":response,
            "reference":reference
        }
    )

패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(3)

k9e4h — Fri, 31 Jan 2025 23:50:25 +0900

LLM 서비스 개발 실습

검색 라이브러리

langchain-community, duckduckgo-search

RAG - Retrieval-Augmented Generation

조회해서 생성하는 것, RAG 를 한다는 것은 아나운서가 스크립트 관련된 내용을 쪽지 만들어 놓는 것.

RAG를 만드는 것은 쪽지 내용을 어떤식으로 채울지 하는 것

유튜브 조회, 요약 라이브러리

youtube_search, youbutetranslate-api, pytube

faiss-cpu ( 검색내용을 embedding 위한 라이브러리 - 책에 도서번호를 부여하고 카테고리화하는 것 )

==> chat GPT는 제약이 많았지만 langchain 은 그런 제약을 많이 해결해주었다.

==> langchain이 너무 많이 변경되는 중이라 소스코드가 정상동작하지 않을 수 있다.

==> RAG 에 활용하기 좋다.

==> langchain을 사용하지않고 in-house에서 개발하는 경우도 많다. 하지만 빠르게 개발하려면 langchain이 편하긴하다.

----

Function Calling

받는 것과 주는 것의 규격이 정확하게 맞춰져있어서 자동화 할 수 있음 ex 공장의 순서

LLM을 사용하기 위해서 output을 규격화하는 것이 중요하다. - Deterministic / Non-Deterministic

질의할 때마다 응답이 달라짐.

그 문제를 해결하기 위해서 Output 의 스키마를 사전 정의하여 전달

functions = 어떤 기능을 원하는지 설명 함

function_call 을 사용하면 최소한 원하는 규격의 응답이 왔는지를 확인 할 수 있음 ( 올바른 응답인지는 알 수 없음 (

사용자 질문을 받으면 function_call을 이용하여 사용자의 내용을 추출하여 gpt 호출 후 답변을 받는다.

답변과 duckduckgo를 이용하여 검색한다.

실제로 사용하고싶은 기능과 LLM을 합치기 위해서 function calling을 많이 사용 함

LLM이 생각하는대로 대답하는 것이 아니라 검색등 정확한 데이터를 넘기기 위해. ex) 런던 날씨가 어떄?

혹은 원하는 output으로 가공하기 위해서

response_format을 이용하여 json 형식으로 받을 수 있다.

-----

LLM으로 서비스를 만든다는 것은?

* 데이터 보안을 고려할 때는 데이터가 파일로 있는지, DB에 있는지 다른 곳에서 가져와야하는것인지 등을 고려해야 함

grounding information = prompt를 만들기 위해 답변을 합치는 역할

검색할 때 Vector DB, embedding 개념 사용

LLM의 답변을 답변을 바로 사용자 응답으로 보내는 것이 아니라 응답을 확인하는 단계를 거쳐야 한다.

---

언어 모델의 특성

환각( hallucination )

ChatGPT는 잘못된 정보도 올바른 정보라고 착각할 수 있다. = hallucination 할루시네이션

그렇기때문에 오픈북으로 정보를 찾을 수 있도록한다 = RAG 알에이지, 래그 , retreival-argumented generation = 검색 증강 생성

RAG = 컨닝페이퍼 줄테니까 그거 보고 읽어, 모르는거 아는척하지말고! = langchain을 이용해서 컨닝페이퍼

langchain의 예시 = 유투브, 웹 검색

Grounding 이란?

- 땅에 붙어 있는 것, 기초 교육

ex) LLM은 hallucination(환각)이 많기 때문에 grounding 해야한다.

grounding 할 수 있는 방법으로 RAG를 많이 사용

LLM에 질문하는 방식에 따라서 답변의 수준이 달라지니까 prompt engineering을 통해 LLM을 잘 활용해보자,

그러나 질문을 잘해도 LLM이 모르는 정보는 제대로된 답변을 얻을 수 없음

그래서, 질문+ 쪽지를 LLM에 전달하자

RAG의 패턴

RAG 버전 1. 가장 간단한 방법

- 프롬프트에 데이터 포함, API Call로 데이터 가져오기

RAG 버전 2.

미리 저장되어있는 데이터를 가져와서 프롬프트를 만듬 -> embedding

LLM 모델을 몇 번 쓸 수도 있음

ex) 정중한 이메일을 써야할 때, 미리 저장되어잇는 데이터 중에서 "정중한 이메일" 이라는 라벨링이 되어있는 데이터를 소량(fewshot) 찾아서 함께 담는다

ex) 이메일 카탈로그, 뉴스레터등의 종류를 분류해서 예시로 사용

RAG 버전3.

Embedding 데이터가 많아질 경우 Vector DB를 사용

사용자가 질문하기 전 부터 데이터를 사전 정의

RAG 버전 4.

LLM의 Fine turning(미세조정)을 통해

LLM에게 답변의 예시를 미리 학습 시킴. RAG 이전 버전들과 다른 점은 LLM 호출 시 데이터를 함께 전달하는 것보다는 LLM 응답 이전에 학습을 시켜두는 것이다.

------

AI에서 Embedding이란?

데이터, 특히 단어나 문장과 같은 텍스트 데이터를 벡터의 형태로 표현하는 과정을 의미합니다.

이 벡터는 원래의 텍스트 데이터보다 낮은 차원을 가지며, 기계 학습 모델이 이해할 수 잇는 형태로 변환됩니다.

이런 벡터를 '임베딩 벡터'라고 하며, 이는 데이터의 의미적, 문맥적 특성을 수치화한 것입니다.

==> 위치 표현

cosine similarity 유사도 = 비슷하면 1, 비슷하지 않으면 -1 에 가까움 ( 0.8 이하면 비슷하지 않다고 보면 될 듯)

언어, 단어, 문장 뭉치를 줬을 때 유사도를 확인하는 것

이 것을 바탕으로 정확한 단어가 아니더라도 비슷한 단어를 유추할 수 있게 됨

두 문장의 유사도도 검색 가능

Semantic search (<-> Retrieval search)

의미적 표현을 사용하여 색인화 하는것을 포함하는 검색 방법.

정확한 문자열이 아닌 "의미"를 찾기

임베딩에도 모델이 각자있다.

ex) A마트의 상품 주소와 B마트의 상품 주소는 다른 것 처럼.

text-embedding-ada-002

언어 모델에 따라 주로 사용하는 임베딩 모델이 있음.

https://platform.openai.com/docs/guides/embeddings

Output from AI LLMs is Non-Deterministic