Transformer란??
기존의 자연어 모델은 sequencial 했다.
단어의 순서를 따라서 다음에 어떤 것이 나올지 예측하는 직렬적인 방법을 사용 함
모든 단어를 학습해야하기 때문에 시간이 오래걸림
Transformer 모델은 병렬적으로 핵심(Attention)적인 부분을 함
GPT
Pre Trained
- 대규모의 텍스트 데이ㅓ로 사전 훈련
Self Attention
- 문맥 내의 단어 간의 핵심을 파악하여 문장 전체의 의미 파악
Generative
- transformer 아키텍쳐를 기반으로 텍스트를 생성
==> GPT는 Transformer 아키텍쳐를 기반으로 Self-Attention을 통해 적절한텍스트를 생성
GPT는 사용자의 대화 초반 내용을 기억한다 => 멀티 턴 Multi Turn 패턴
GPT는 OpenAI 에서 서비스 3가지 중 하나
대화를 생성하는 GPT
이미지 생성하는 달리
프로그래밍을 위한 API 서비스
https://platform.openai.com/playground
실제로 사용자가 인공지능 모델에 영향을 줄 수 있도록 조작할 수 있는 파라미터 => hyper-parameter
hyper-parmeter의 종류
ex) mode, model, temperatur, maximum length, stop sequence, frequency penalty, presence penalty 등등
Temperature
- 예측 단어 선택의 범위
Top P
- 상위 몇 %의 예측 단어를 추출
Frequency penalty
- 생성된 단어에 대한 제어 확률
Presence penalty
- 생성될 단어를 위한 제어 확률
대화 -> 프롬프트
temperature -> 단어를 사용하는 범위
뤼튼
당신의 첫 AI 에이전트 뤼튼. AI 검색부터 나만의 AI 캐릭터까지, AI의 끝없는 가능성을 탐험해 보세요.
wrtn.ai
GPT를 사용해서 무료로 사용할 수 있는 서비스
---
GhtGPT를 이용한 블로그 원고 작성 5단계
1. Prompt 작성 개요
- ChatGPT 질문 방법
2. Chrome 확장 프로그램
- ChatGPT 에 도움되는 확장 프로그램
3. Prompt 작성 상세
4. AI 탐지 체크
- 블로그에 AI 탐지 걸릴 수 있음, 사람이 작성한 것 처럼 쓸 수 있는 방법
5. Powerful Prompt 활용
---
프롬프트를 다각화, 상세히 정의해야 함
프롬프트 작성 기초
- 역할 부여
[컨텐츠 키워드] 블로그 포스팅을 위해 원고를 하나 작성해주세요
- 제한 사항
사람이 쓴 것 처럼 작성해주세요
- 답변 형태
제목과 본문을 나누어주세요
최소 1500자 이상 작성해주세요
기능 활용
- Top-p는 1로, Temperature는 1로 작성해주세요
---
활용 크롬 확장 프로그램
aiprm for chatGPT
검색엔진 최적화
ChatGPT for Google
구글 검색시 chatGPT 응답도 알려 줌
AI Text Classifier
AI 탐지 프로그램
---
AI 탐지 우회 방안
AI로 작성된 글은 문법과 맞춤법, 주관성과 감정 표현, 독창성과 창의성이 부족하다.
사람이 작성한 것처럼 ChatGPT가 답변할 수 있도록 프롬프트 리팩토링과 확장프로그램을 활용하여 질의하여야한다.
역할 부여, 제한 사항, 답변 형태, 기능 활용 + "문장 구조 개편, 감정 표현, 창의성"
ex)
제목과 본문을 나눠주세요
문장 길이를 문장마다 다양하게 작성해주세요
문장 구조도 다양하게 작성해주세요.
부자연스러운 문장과 반복적인 문장은 피해서 작성해주세요
사람이 작성한 것 처럼 관용구, 감탄사, 수식어, 구어체를 사용해주세요
흥미로움을 유발하는 문장으로 작성하세요
다양한 감정언어를 추가하고 비유적인 표현을 사용하여 창의력과 표현력을 풍부하게 작성하세요
Template 사용 가능 => 미리 정의된 프롬프트 엔지니어링
template : Human Written 100% Unique ~~~ Optimized Article
---
프롬프트도 구조화를 한다.
배경 설명, 요구사항 정의
지금 질문에 답하는 chtaGPT는 파워블로거야. 아래는 나의 요구사항이야.
템플릿을 사용하는 것 보다 prompt를 구조화해서 질의하자.
정보의 객관성이 필요할 때는 Temperature를 활용하자. temperature 가 적을 수록 객관적으로 작성될 수 있다.
지금 질문에 답을 하는
ChatGPT는 많은 조회수를 가진 파워블로그 작가입니다.
chatGPT은 사실을 기반하여 원고를 작성하며 감정이 풍부하여 창의력이 높은 작가입니다.
[아래] 내용을 토대로, [후쿠오카 여행, 서울 데이트 코스, 기업 소개 등등] 블로그 포스팅를 위해 원고 하나 작성해주세요.
[아래]
제목과 본문을 나누어 주세요.
사람이 쓴 것처럼 관용구, 감탄사, 수식어, 구어체(경어체 포함)을 사용해주세요.
문장 길이를 문장마다 다르게 바꿔서 작성하세요.
문장 구조도 문장마다 다른 구조로 바꿔서 작성하세요.
흥미로움을 유발하는 문장으로 작성하세요.
부자연스러운 문장과 반복적인 문장은 피해서 작성하세요.
다양한 감정적인 언어를 추가하고 비유적인 표현을 사용하여 창의력과 표현력을 풍부하게 작성하세요.
이모티콘도 무작위로 상황에 맞게 넣어주세요.
2021년 이후 시점에 대해서는 웹 검색을 통해 작성해주세요.
최소 1500자이상 작성해주세요.
Top-p는 1로, Temperature는 0.5로 작성해주세요.
chatGPT라는 단어 언급은 배제해주세요.
----
1. OpenAI API -Account 설정
- 카드 등록 후에만 API 사용 가능
- API Key 등록
2. Colab - Jupyter Notebook
- 파이썬 코드 실행 브라우저
- colab은 jupyter notebook이라는 파이썬 메모장을 웹 상에서 여러 부가기능을 넣어서 만든 툴
max_token = 1개는 영어 소문자 1개, 한글은 2개
파이썬에서 변수 앞에 def 작성하면 함수 정의
멀티턴을 구현하기 위하여 함수를 이용 한다. ( prompt += prompt )
---
fast api 를 활용한 ChatGPT API 이용하기
Fastapi라는 framework 사용
FasAPI
- asynchronous server gateway (ASGI)
- 현대적인 python 웹 프레임워크
!pip install uvicorn nest-asyncio pyngrok
uvicorn : ASGI 서버
nest-asyncio : 비동기를 중첩해서 사용
pyngrok : py + ngrok 로 호스팅된 서버에 터널링하여 접근할 수 있는 패키지
---
Microsoft가 OpenAI 회사임
MS Azure에서 OpenAI Portal을 만들어서 관리하고 있음
GPT Trainer -> GPT에서 새로운 지식을 학습 시킴
GPT-trainer
Best AI Chatbots for Customer Support
gpt-trainer.com
지금은 GPT의 속도가 느림, 어떻게 GPT를 활용할 수 있을지가 상용 서비스의 핵심일것이다.
'기타내용' 카테고리의 다른 글
패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(2) (0) | 2025.01.28 |
---|---|
패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(1) (0) | 2025.01.27 |
Database Sharding vs. Partitioning (0) | 2024.08.02 |
네트워크 통신 포트 21,22,80,443 (0) | 2024.03.19 |
Redis (0) | 2022.07.25 |