Kim's :D

---- 지금까지 RAG 가 무엇인지 보았고, RAG를 위해 필요한 embedding을 학습했다  RAG 아키텍처 타입질문이 들어옴 -> 답변을 열심히 찾아서 정리해서 옴 -> 아나운서에게 이거 보고 답변하라고 함"답변에 필요한 정보를 찾아서""정리해서"  - 물어볼만한 답변을 밀 ㅣ폴더에 잘 정리해 두기  - 사연도 정리해두기  - 유툽 댓글도 리서치 해서 잘 정리해두기  - 다시 한 번 추출해서 정리하기 RAG 아키텍쳐 샘플 --- 기존에 가지고있는 데이터를 Json으로 만들어서 Vector DB 형태로도 사용 함---Grounding (얼마나 사실에 기반하는지) 하기 위해 많이 사용하는 것이 RAG, FineTuning  Fine Tuning 미세 조정 ex) Oracle 로 하면 잘 되는데 Pos..

embedding을 만든다 = 단어나 문장을 숫자 배열/리스트로 만든다  vector에서 검색하는 것은 기존 RDB의 PK 를 찾는 것이 아니라 vector 주변 값을 찾는 것"키", "찾는 방법"을 임베딩으로 지정 -> Vector DBVector를 Key로 가진다 문서를 조각화하여 그 조각에서 키워드 또는 핵심 문장을 찾아 embedding 한다.사용자 질문은 이런거이고, 유투브에서 데이터를 가져왔어. 이걸 가지고 답변을 해줘.이 내부 로직들은 API에서 제공 --Vector DB 종류- pinecone, weaviate, QDrant, Milvus, Chroma 등의 전용 벡터 데이터베이스- pinecone은 서비스로서의 소프트웨어로 성공적인 사례- weaviate, QDrant, Milvus는 클..

LLM 서비스 개발 실습 검색 라이브러리langchain-community, duckduckgo-search RAG - Retrieval-Augmented Generation조회해서 생성하는 것, RAG 를 한다는 것은 아나운서가 스크립트 관련된 내용을 쪽지 만들어 놓는 것.RAG를 만드는 것은 쪽지 내용을 어떤식으로 채울지 하는 것 유튜브 조회, 요약 라이브러리youtube_search, youbutetranslate-api, pytubefaiss-cpu ( 검색내용을 embedding 위한 라이브러리 - 책에 도서번호를 부여하고 카테고리화하는 것 ) ==> chat GPT는 제약이 많았지만 langchain 은 그런 제약을 많이 해결해주었다.==> langchain이 너무 많이 변경되는 중이라 소스..

2023년 6월 강의 기준..네이버 블로그 시작하기 블로그는 바로 수익을 내기 어려움. 꾸준히!하기한 분야마 다루는 전문적인 블로그가 더 높은 점수와 레벨을 부여해 줌C-Rank 로직 : 한 분야를 전문적으로 다루는 블로그 점수 네이버 SEO 작업네이버 AI에게 내 블로그 인식중복이 없고 부르기 쉬운 닉네임 설정하는 것이 좋음 프로필 사진 = 내 사진, 캐릭터, 블로그 관련 이미지로 설정 스킨 - 도큐먼트홈페이지형 블로그는 인플루언서에 도전할 때 전환하기 미리캔버스 = 무료 디자인 툴2000*560px로 블로그 헤더(메인이미지) 만들기G마켓 산스 글씨체가 간결 함 레이아웃 설정가장 왼쪽에 있는 레이아웃이 심플 함 블로그 배치고사처음으로 작성하는 포스팅 혹은 그 이후의 두세 개가 블로그 판단 기준이 됨.이..

몇 개월 전부터 ChatGPT AI 를 사용하기 위해서는 결제 수단 등록이 필수가 되었어요!결제 수단 등록 방법 알아볼게요 https://platform.openai.com/settings/organization/billing/overview Add payment details 선택Add payment details 입력법인카드 사용일 때만 아래 쪽 "Purchasing as a buisiness" 선택잔액은 최소 금액으로하고 중간의 체크 박스 선택 해제완료!사진 설명을 입력하세요.#chatgpt유료 #openai카드등록     #chatgptcredit #chatgpt크레딧 #chatgpt무료크레딧

https://platform.openai.com/playground  웹 UI가 아닌 playground에서는 다양한 변수를 조작하여 ChatGpt 를 사용해 볼 수 있다.우측 상단에 View Code가 있음, 해당 코드를 복사하여 colab에서 ChatGpt API를 호출해볼 수 있다. colab!pip install openai  https://python.langchain.com/docs/tutorials/https://platform.openai.com/docs/guides/text-generation  open AI라는 커뮤니케이션 가능한 핸드폰이 있다.이 핸드폰은 text generation, function calling, embeddings, find-tuning, image genera..

강의 내용 소개언어 모델, 어떻게 쓰지?Part1,2 이게 뭐야? 그대로 써보기 (챗GPT), 프롬프트 엔지니어링Part 3 어디에 연결 된 거야? 해킹해보자Part 4 RAG, langchain, plugin, toolsPart 5 이것으로 시스템을 만들어보자Part 6 좀 더 효과적으로? 저렴하게? 혹시 빼놓은 건? ---AI1950년에 나타남Alan Turing and the Turing test1970년대 AI 성숙기1990~2010에는 AI에 관심이 적었다. AI는 실제로 쓸 수 없는, 이론적인 학문이라고 여겨졌다. 챗GPT 이전의 AI생성형 AI 이전에도 AI에 엄청난 발전이 있었음스팸 필터 - Navie Bayes 모델 ( 구글이메일에서 도입 됨, 특정 단어가 있으면 스팸 )추천 시스템 - ..

Transformer란?? 기존의 자연어 모델은 sequencial 했다.단어의 순서를 따라서 다음에 어떤 것이 나올지 예측하는 직렬적인 방법을 사용 함모든 단어를 학습해야하기 때문에 시간이 오래걸림 Transformer 모델은 병렬적으로 핵심(Attention)적인 부분을 함 GPTPre Trained- 대규모의 텍스트 데이ㅓ로 사전 훈련Self Attention- 문맥 내의 단어 간의 핵심을 파악하여 문장 전체의 의미 파악Generative- transformer 아키텍쳐를 기반으로 텍스트를 생성==> GPT는 Transformer 아키텍쳐를 기반으로 Self-Attention을 통해 적절한텍스트를 생성 https://chat.openai.com GPT는 사용자의 대화 초반 내용을 기억한다 => 멀티..

https://www.baeldung.com/cs/database-sharding-vs-partitioning

21 : FTP : File Transfer Protocal : 파일 전송 프로토콜 : 서버와 클라이언트 사이의 파일 전송을 하기위한 프로토콜 22 : SSH : Secure Shell : 시큐어 셀 : 다른 사용자가 세션을 엿듣지 못하도록 세션을 감싸 보안 및 안정성을 높임. 네트워크 상의 다른 컴퓨터에 로그인하거나 원격 시스템에서 명령을 실행하고 다른 시스템으로 파일을 복사할 수 있도록 해 주는 프로토콜. Linux 계열에서 사용함. 22 : SSH : Secure Shell : 시큐어 셀 : 다른 사용자가 세션을 엿듣지 못하도록 세션을 감싸 보안 및 안정성을 높임. 네트워크 상의 다른 컴퓨터에 로그인하거나 원격 시스템에서 명령을 실행하고 다른 시스템으로 파일을 복사할 수 있도록 해 주는 프로토콜. ..