패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(1)

강의 내용 소개

언어 모델, 어떻게 쓰지?

Part1,2 이게 뭐야? 그대로 써보기 (챗GPT), 프롬프트 엔지니어링

Part 3 어디에 연결 된 거야? 해킹해보자

Part 4 RAG, langchain, plugin, tools

Part 5 이것으로 시스템을 만들어보자

Part 6 좀 더 효과적으로? 저렴하게? 혹시 빼놓은 건?

 

---

AI

1950년에 나타남

Alan Turing and the Turing test

1970년대 AI 성숙기

1990~2010에는 AI에 관심이 적었다. AI는 실제로 쓸 수 없는, 이론적인 학문이라고 여겨졌다.

 

챗GPT 이전의 AI

생성형 AI 이전에도 AI에 엄청난 발전이 있었음

스팸 필터 - Navie Bayes 모델 ( 구글이메일에서 도입 됨, 특정 단어가 있으면 스팸 )

추천 시스템 - 사용자의 이전 활동, 검색 기록 및 선호도를 분석하여 개인 맞춤형 추천 제공에 AI를 사용

음성 인식 - 사용자의 명령을 이해하고 반응 함

자율 주행 자동차 - 자율 주행 기술 개발에 AI를 활용

의료 진단 - 의료 이미지 분석 (, X- ray, MRI) 를 통해 질병을 진단하고 환자 데이터를 분석하여 치료 계획 제안

금융 서비스 - 신용 평가, 주식 시장 분석, 사기 탐지 등에 사용

광고 - 맞춤 광고

게임 - NPC의 행동을 제어하거나 게임 플레이의 난이도 조절

---

왜 언어 모델은 다른가??

사람이 사용해온 도구의 마지막 단계라고 생각된다. 전기의 발명처럼 LLM은 많은 변화를 가져올 것이다.

 

기존에는 목적을 이루기 위해서 도구를 만들어 냄. 숟가락은 밥을 먹기 위해 만들어낸 것이다.

 

언어모델은 나의 의도를 이해하는 도구

나의 의도를 이해하고 나의 실행방식과 도구를 이해하며 알아서 해결할 수 있음

 

Input을 이해할 수 있다.

기존에서는 사람의 개입이 필요하고 UI 디자인이 필요하고 검색이 완전하지 않았음

 Input을 정의해주지 않아도 의도를 파악하여 이해할 수 있다.

 

일의 실행

결과 설명, 이전 케이스 참고, 프로세스 설명 등을 사람이 개입하지 않아도된다.

 

인간 명령어를 시스템어로 통역

- 인간적으로 이해하고 기계에게 명령 가능, 현존하는 기계를 사람처럼 부릴 수 있음

ex) 사람형 로봇 -> 사과를 집어들 수 있는 로봇은 많았다. 쓰레기들 사이에서 사과를 판단해서 올릴 수 있는 결정 할 수 있는 로봇은 없었다.

ex) 초정밀 반도체 공정에 들어가는 로봇은 존재하지만 가사 로봇은 존재하지 않았다. => 사람의 판단이 많이 필요한 가사활동에 활용하기 어려웠음

 

지금 기업에서 가장 빨리 바뀌는 부분

모든 시스템의 UI

- 시스템의 UI가 자연어 바탕으로 변하고 있다. UI흐름이 자연어 바탕으로 단순화되면서도 응답이 어떻게 나올지 예측할 수 없기 떄문에 복잡해지기도 함

모든 시스템의 자연어 처리

- 기계어 ouput 로그에서 API call

 

빨리 바뀌지 않는 이유...

코딩은 여전히 장인이 한땀 한땀..

Hallucination

시스템 통합은 멀고도 험난

AGI는 멀었다. 인공 일반 지능(artificial general intelligence, AGI)은 인간이 할 수 있는 어떠한 지적인 업무도 성공적으로 해낼 수 있는 (가상적인) 기계의 지능을 말한다.

 

---

 

태블릿	LLM
태블릿 시리즈 카테고리를 의미 ex) 아이패드 ,갤럽시탭	GPT 시리즈
아이패드 프로	ChatGPT

 

 

---

AI 업계의 변화는 매우 빠르다.

오늘 배운 것을 내일 사용하지 못할 수도 있을만큼 빠르지만 안정화 이후에 학습하는 것보다 지금 바로 배우는 것이 좋다.

왜냐하면 변화하는 이유, 사용하지 못하게되는 이유를 알아야하기 때문이다.

ML/AI 전문가가 되는게 좋을까? 그것은 아니다. ML/AI로 많은 변화가 있을 것이고 중요한 것은 맞지만, 나의 전문성에 ML/AI를 접목하여 어떻게 활용할 것일지 목표를 세우는 것이 좋을 것이다.

내가 가진 기술과 AI/ML을 접목하여 무엇을 할 수 있을지 만들어보자

 

---

 

ChatGPT 활용 예시

- 이력서 엔지니어링

- 일어날 일 시뮬레이션 대화

- 해야할일 정리

- 영어로 이메일 쓰기

- 디자인 문서 작성하기

- 영어 과외 선생님 만들기

- 영어 문제집 만들기

 

정확하게 어떻게 작성해야할지 모를때 사용하기 좋음

 

프롬프트는 영어로 작성하는 것이 좋음. fundation model이 영어로 되어있기 때문이다. 

모자란 부분을 지적해줘, 더 쉽게 알려줘, 표로 정리해줘 

요구사항을 계속 추가할 수 있고, 부족한 부분을 추가 요청하고, 긴 내용을 요약하는 것에 특화되어있다.

언어 이해와 생성은 잘 하지만 구글/데이터베이스가 아님, 모를 때 모른다고 이야기하지 않고 제대로 못 알아들어도 그럴듯한 대답을하기 떄문에 사용자가 정확성을 판단해야함

 

---

프롬프트 엔지니어링 팁

- 지시는 짧고 간결하게, 확실하게

- 내용이 길다면 구역 확실히 정해주기

- 답변 방식을 정해주기

- 예시 들어주기

- 할일 리스트 만들어주기

- 생각의 연결고리

- 생각의 나무

- 미니 RAG

---

프롬프트란 무엇인가?

AI 모델 이전의 사용 법

ex) 글쓰기 연습을 위한 100가지 프롬프트

프롬프트 - 명사 : 화두, 동사 : 말하라고 지시

AI 모델에게 내리는 지시사항 내지 대화 시작의 물꼬

---

프롬프트의 구성요소

- 지시사항

-  참고데이터

- 출력 지도

- 사용자 입력데이터

 

ex) 너는 커피샵의 직원이야. 메뉴는 이런게 있고, 메뉴에 없는 내용이 나온다면 메뉴 없다고 알려주고 주문 후에는 총 가격이 얼마인지 알려줘.

 

Zero-shot / One-shot / Few-shot

let's work it out step by step 이라고 말하면 더 좋은 결과를 나타냄..

minority report / mixture of experts => 언어모델은 잘 못된걸 알아도 되돌릴 수 없다고 함.

3명의 전문가가 있다고하자, 이 중에 2명이 동의하는 답변만 선택하자. 라고 말하면 샘플링할 수 있는 경우의수를 줄 수 있게 됨.

예를 들어 시스템 전문가, 데이터베이스 전문가, 백앤드 전문가가 있다고하자 이런 식으로..

 

다른 것을 강조하거나 길이를 정하거나 문장 구조를 다르게해서 질문하거나 몇가지를 참고해서 다시 쓰기 또는 챗을 다시 시작한다.

중요한건 마지막에 작성하고 반복하라.

구역을 나누거나 데이터를 전달할때는 마크다운 포맷이 가장 잘 인식됨.

모델 버전에 따라 결과가 많이 달라 짐

deterministic outcome? use code , 정확한 결과를 원한다면 자연어보다는 코드를 사용해라.

 

---

조심해야 할 부분

보안 - 프롬프트 주입, 탈옥, 유출 ( 프롬프트 엔지니어링만으로는 할 수 없음, LLM 질의 전에 질의 막기 등 )

위험한 내용 (RAI)

환각 - 엄하게 지시하기, 소스 제한하기, 전처리/후처리

---

개발자로 챗GPT 잘 써먹기

1) 코드 쓰기

- github copilot (유료)

간단한 계산기 함수를 써줘, 사칙연산만 가능하면돼 

- 자연어를 json, 코드로 생성

-  whisper API => 음성을 텍스트로 변경해주는 API

2) 디버깅

3) 테스트 쓰기 ( GitHub의 코드파일럿 )

4) 코드 설명하기 / 다시 쓰기

5) 테스트 데이터 만들기!, 리뷰 데이터 만들기

상품 고객 리뷰를 써줘, 리뷰 중 몇개는 크게 만족으로 데이터 생성해줘. 이런 데이터를 만드는 파이썬 코드를 작성해줘

6) AI 모델 선정하기

- 이 데이터로 이런 모델 만들려고하면 가능해? 어떤 데이터가 더 필요해?

- 3년간의 온라인 가게 매출 정보가 있고 구매한 고객들의 개인 정보가있어.어떤 AI 모델을 쓰면 더 많이 구입할 고객을 찾을 수 있을까?

7) 데이터 프로세싱하기

8) 데이터 분석하고 그래프 그리기

9) 이미지 설명하기

- 그래프를 보여주고 어떤 의미인지 알려줘 

10) GPTs 만들기

- GPT Store

- 사용자가 직접 만들 수 있는 Customized GPT.

- 자주쓰는 custom instruction ( prompt) 를 저장해 놓을 수 있다.

---

colab.research.google.com

---

AGI가 없다고하는 이유

기술적으로 어렵지는 않지만 권한등을 OpenAI에 넘길 수 있을 것인가?

 

우리가 생각하는 AGI는 질문을 받고 이것저것 할 수 있음

사실 AI 모델 시스템은 - 차트를 받은 의사/간호사 같은 종합병원 시스템이다.

AI 모델은 여러개이기 때문에 어떤 진료과를 가야할지 선택하는 것 처럼 AI 모델을 선택해야 함

의사가 모든 환자 정보를 기억하는 것이 아니라 환자가 왔을 때 다른 시스템에서 정보를 찾아서 대답 하는 것이다.

 

User Input -> Task Planner -> Tool / Action Parser -> Tool Dispatcher -> Tool Ouput Parser

Tools => APis, Webhooks, Functions, Plugins

 

---

ChatGPT의 한계

최초의 GPT는 2011년 이후의 데이터이며 없는 데이터는 인터넷 검색도 불가능했고 데이터 답변 용량의 한계도 있었음 

결국 LLM을 활용하는 것은 프로그래밍이 필요 함

개인 레벨에서 GPTs 등 활용할 수 있지만 비즈니스 레벨에서는 적용이 어려움

---

 copilot 예시

github에서 langchaing-example 받기

 

 

 

강의 종료 후 Todo

copilot 따라해보기