해당 글을 요약하였습니다.
https://yozm.wishket.com/magazine/detail/2360/
LLM
광범위한 양의 텍스트 데이터를 학습한 모델
GPT - Generative Pre-trained Transformer
대형 언어 모델의 대표, 인간처럼 말할수 있도록 훈련된 모델
transformer - 아키텍쳐 종류, 인간의 언어 처리 방식을 모방한 자연어 처리 분야의 심층 신경망 구조
매개변수(parametere)
질문에 관한 최적의 답변을 산출하기 위해서는 정밀하게 설계된 함수가 필요, 함수는 매개변수로 이루어져있음.
음식의 조미료와 같은 것, 많을 수록 정교하고 맛있어지지만 너무 과하면 안됨
매개변수가 많아질 수록 정교한 답을 생성할 수 있음
답변의 정확도를 높이기 위해서는 각 변수의 가중치를 적절히 조정, 어떤 변수들은 입력 데이터에 의존하지 않고 고정된 값을 가지도록 편향시키기도 함
일반적으로 매개변수의 양이 많을수록 정답에 가까운 답을 도출할 수 있지만, 오히려 너무 많으면 과적합(Overfitting) 문제가 발생할 수 있음
과적합 - 모델이 훈련 데이터에 지나치게 적응해서 새로운 데이터나 일반적인 상황에 대해서는 오히려 성능이 떨어지는 현상
프롬프트 엔지니어링
AI에 주어지는 입력(질문, 명령)을 프롬프트(Prompt)
어떻게 질문을 하냐에 따라 결과가 달라짐,
최적의 결과값을 얻어낼 수 있도록 효과적인 프롬프트 값을 입력하는 업무
ex)
효과적이지 못한 질문 - 이탈리아 여행 계획을 세워주세요
효과적인 질문 - 이탈리아 7일 여행 코스를 세워주세요, 로마, 베니스를 꼭 방문하고싶어요.
토큰
언어 데이터를 처리하는 기본 단위, 형태소와는 다름
Unbelievably 를 형태소로 구분하면
Un- : 부정을 의미하는 접두사
believe : 믿다라는 동사
able : 가능함을 의미하는 접미사
ly : 부사를 만드는 접미사
토큰
Unb, elie, vably 와 같이 전혀 다른 형태로 나눌 수도 있다.
토큰은 반드시 명확한 의미를 가지지 않을 수 있다는 점에서 형태소와 차이가 있음
토큰을 구분하는 방식은 모델의 설계와 목적에 따라 달라지기 때문에 그 명확한 기준을 알기는 어려움
ChatGPT의 API를 사용할 때 토큰을 기준으로 사용량 측정후 비용이 청구됨.
GPU (graphics processing unit)
병렬처리
환각(Hallucinate)
생성형 AI 이기 때문에 무엇인가를 "생성", 이 과정에서 실제 데이터나 사실을 반영하지 않고, 비현실적이거나 오류를 포함한 내용을 만들어내는 경우가 있음.
이를 환각, 할루시네이션이라고 함
비현실적인 내용 , 정보의 오류, 상황의 오류
일반 인공 지능(Artificial General Intelligence, AGI)
좁은 의미의 인공지능이란? 특정 작업이나 기능에 최적화된 인공지능 ex) 이세돌을 바둑에서 이긴 알파고가 실생활에 사용될 수는 없음
일반인공지능은 특정 분야에만 특화되어 있는 것이 아닌, 기본적으로 인간과 유사한 지능 수준을 가짐
ANI (Artificial narrow intelligence) / AGI(Artificial general intelligence) / ASI (Artificial super intelligence)
huggingface API
RAG
https://www.databricks.com/kr/glossary/retrieval-augmented-generation-rag