Kim's :D

패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(4)

embedding을 만든다 = 단어나 문장을 숫자 배열/리스트로 만든다  vector에서 검색하는 것은 기존 RDB의 PK 를 찾는 것이 아니라 vector 주변 값을 찾는 것"키", "찾는 방법"을 임베딩으로 지정 -> Vector DBVector를 Key로 가진다 문서를 조각화하여 그 조각에서 키워드 또는 핵심 문장을 찾아 embedding 한다.사용자 질문은 이런거이고, 유투브에서 데이터를 가져왔어. 이걸 가지고 답변을 해줘.이 내부 로직들은 API에서 제공 --Vector DB 종류- pinecone, weaviate, QDrant, Milvus, Chroma 등의 전용 벡터 데이터베이스- pinecone은 서비스로서의 소프트웨어로 성공적인 사례- weaviate, QDrant, Milvus는 클..

패스트캠퍼스 AI 개발자의 LLM 마스터 클래스(3)

LLM 서비스 개발 실습 검색 라이브러리langchain-community, duckduckgo-search RAG - Retrieval-Augmented Generation조회해서 생성하는 것, RAG 를 한다는 것은 아나운서가 스크립트 관련된 내용을 쪽지 만들어 놓는 것.RAG를 만드는 것은 쪽지 내용을 어떤식으로 채울지 하는 것 유튜브 조회, 요약 라이브러리youtube_search, youbutetranslate-api, pytubefaiss-cpu ( 검색내용을 embedding 위한 라이브러리 - 책에 도서번호를 부여하고 카테고리화하는 것 ) ==> chat GPT는 제약이 많았지만 langchain 은 그런 제약을 많이 해결해주었다.==> langchain이 너무 많이 변경되는 중이라 소스..

2023년 6월 강의 기준..네이버 블로그 시작하기 블로그는 바로 수익을 내기 어려움. 꾸준히!하기한 분야마 다루는 전문적인 블로그가 더 높은 점수와 레벨을 부여해 줌C-Rank 로직 : 한 분야를 전문적으로 다루는 블로그 점수 네이버 SEO 작업네이버 AI에게 내 블로그 인식중복이 없고 부르기 쉬운 닉네임 설정하는 것이 좋음 프로필 사진 = 내 사진, 캐릭터, 블로그 관련 이미지로 설정 스킨 - 도큐먼트홈페이지형 블로그는 인플루언서에 도전할 때 전환하기 미리캔버스 = 무료 디자인 툴2000*560px로 블로그 헤더(메인이미지) 만들기G마켓 산스 글씨체가 간결 함 레이아웃 설정가장 왼쪽에 있는 레이아웃이 심플 함 블로그 배치고사처음으로 작성하는 포스팅 혹은 그 이후의 두세 개가 블로그 판단 기준이 됨.이..

몇 개월 전부터 ChatGPT AI 를 사용하기 위해서는 결제 수단 등록이 필수가 되었어요!결제 수단 등록 방법 알아볼게요 https://platform.openai.com/settings/organization/billing/overview Add payment details 선택Add payment details 입력법인카드 사용일 때만 아래 쪽 "Purchasing as a buisiness" 선택잔액은 최소 금액으로하고 중간의 체크 박스 선택 해제완료!사진 설명을 입력하세요.#chatgpt유료 #openai카드등록     #chatgptcredit #chatgpt크레딧 #chatgpt무료크레딧

https://platform.openai.com/playground  웹 UI가 아닌 playground에서는 다양한 변수를 조작하여 ChatGpt 를 사용해 볼 수 있다.우측 상단에 View Code가 있음, 해당 코드를 복사하여 colab에서 ChatGpt API를 호출해볼 수 있다. colab!pip install openai  https://python.langchain.com/docs/tutorials/https://platform.openai.com/docs/guides/text-generation  open AI라는 커뮤니케이션 가능한 핸드폰이 있다.이 핸드폰은 text generation, function calling, embeddings, find-tuning, image genera..

강의 내용 소개언어 모델, 어떻게 쓰지?Part1,2 이게 뭐야? 그대로 써보기 (챗GPT), 프롬프트 엔지니어링Part 3 어디에 연결 된 거야? 해킹해보자Part 4 RAG, langchain, plugin, toolsPart 5 이것으로 시스템을 만들어보자Part 6 좀 더 효과적으로? 저렴하게? 혹시 빼놓은 건? ---AI1950년에 나타남Alan Turing and the Turing test1970년대 AI 성숙기1990~2010에는 AI에 관심이 적었다. AI는 실제로 쓸 수 없는, 이론적인 학문이라고 여겨졌다. 챗GPT 이전의 AI생성형 AI 이전에도 AI에 엄청난 발전이 있었음스팸 필터 - Navie Bayes 모델 ( 구글이메일에서 도입 됨, 특정 단어가 있으면 스팸 )추천 시스템 - ..

Transformer란?? 기존의 자연어 모델은 sequencial 했다.단어의 순서를 따라서 다음에 어떤 것이 나올지 예측하는 직렬적인 방법을 사용 함모든 단어를 학습해야하기 때문에 시간이 오래걸림 Transformer 모델은 병렬적으로 핵심(Attention)적인 부분을 함 GPTPre Trained- 대규모의 텍스트 데이ㅓ로 사전 훈련Self Attention- 문맥 내의 단어 간의 핵심을 파악하여 문장 전체의 의미 파악Generative- transformer 아키텍쳐를 기반으로 텍스트를 생성==> GPT는 Transformer 아키텍쳐를 기반으로 Self-Attention을 통해 적절한텍스트를 생성 https://chat.openai.com GPT는 사용자의 대화 초반 내용을 기억한다 => 멀티..

EDA - Exploratory Data Analysishttps://eda-ai-lab.tistory.com/13 EDA (Exploratory Data Analysis) 탐색적 데이터 분석1.EDA란? 1) 정의 수집한 데이터가 들어왔을 때, 이를 다양한 각도에서 관찰하고 이해하는 과정입니다. 한마디로 데이터를 분석하기 전에 그래프나 통계적인 방법으로 자료를 직관적으로 바라보eda-ai-lab.tistory.com  tweedie 란sknewhttps://dining-developer.tistory.com/17SW란데이터를 프로그램을 이용하여 처리하는 것 소프트웨어 1.0데이터를 읽어서 처리하는거 소프트웨어 2.0알고리즘을 이용하여 데이터를 처리하는 것 - Deep Learning 소프트웨어 3.0모..

현상 전체 검색 동작 안함프로젝트 구조 안 나옴Intellij 에서 노란색으로 나타남원인Project 인식 안됨 해결File > Project Structure > Project Settings > Modules > Import Module 클릭 Project Directory 선택 > Import module from external model 에서 Eclipse 선택 > 전체 Next 후 import

상속과 관계https://swingswing.tistory.com/6 ER모델, E-R 모델을 관계 데이터 모델로 사상_관계, 강한개체, 전체참여, 참조외래키, 부서, 직원▣ E-R 모델을 관계 데이터 모델로 사상_관계, 강한개체, 전체참여, 참조외래키 ER 모델 관계 스키마 2진 관계 1:1양방향 완전관계 두 릴레이션을 하나로 통합(일반적인 경우) 두 엔티티타입과 관계swingswing.tistory.com ie 표기법 , baker 표기법https://b-programmer.tistory.com/357 [database] ERD 표기 법 IE vs BarkerERD를 표기하는데 자주 사용하는 표기법으로 IE표기 법과 Barker표기법이 있다고 한다. 엔티티, 속성, 관계(카니널리티), 관계(옵셔널리티..