이번에 리뷰할 책은 '쉽고 빠르게 익히는 실전 LLM' 입니다. '쉽고 빠르게 익히는 실전 LLM' 책 목차 목차는 아래와 같습니다. 크게 9개 챕터와 부록으로 이루어져 있으며 용어와 개념 초반에 간단하게 설명합니다. 예전 자연어처리 같으면 Transformer부터 차근차근 빌드업하면서 책이 쓰여있었는데, 최근에 AI 기술 서적은 LLM부터 시작하니 더 빠르게 세상이 변화하고 있다는 것을 느낍니다. Part 1 LLM 소개 Chapter 1 LLM _1.1 LLM이란? _1.2 현재 많이 사용되는 LLM _1.3 도메인 특화 LLM _1.4 LLM을 이용한 애플리케이션 _1.5 마치며 Chapter 2 LLM을 이용한 의미 기반 검색 _2.1 들어가는 글 _2.2 작업 _2.3 솔루션 개요 _2.4 구성..
이전 글까지 Milvus에서 데이터 insert부터 검색까지 다루어보았습니다. 2023.10.10 - [AI/Vector Database] - [Vector DB] 3. Milvus 튜토리얼 (1) - 설치, 변수 정의, Collection 생성하기 2023.10.12 - [AI/Vector Database] - [Vector DB] 4. Milvus 튜토리얼 (2) - Collection에 데이터 insert 하기 2023.10.13 - [AI/Vector Database] - [Vector DB] 5. Milvus 튜토리얼 (3) - Query 임베딩 생성 & Vector DB 검색하기 이번 글에서는 upsert를 해보는 과정을 설명하고자 합니다. 이전글의 코드들과 이어서 설명하기 때문에 흐름을 보면..
이전 글 Milvus 튜토리얼에서는 샘플 데이터를 바탕으로 Vector DB에 Collection을 생성하고 임베딩을 수행하고, Vector DB에 Insert 하는 부분까지 다루었습니다. 2023.10.10 - [AI/Vector Database] - [Vector DB] 3. Milvus 튜토리얼 (1) - 설치, 변수 정의, Collection 생성하기 2023.10.12 - [AI/Vector Database] - [Vector DB] 4. Milvus 튜토리얼 (2) - Collection에 데이터 insert 하기 이번 글에서는 실제로 Query를 임베딩하고, 검색결과를 살펴보겠습니다. 검색 쿼리 준비하기 실제로 검색할 쿼리를 준비하기 위해 앞선 글에서 언급한 다른 샘플데이터를 활용합니다. t..
이전 글에서는 Collection을 생성하는 부분에 대해 짧게 다루었습니다. 2023.10.10 - [AI/Vector Database] - [Vector DB] 3. Milvus 튜토리얼 (1) - 설치, 변수 정의, Collection 생성하기 이번 글에서는 샘플 텍스트 데이터를 임베딩하고 insert를 수행하고 적재가 제대로 되어있는지 확인하는 과정까지 다루어 보겠습니다. 샘플 데이터 준비 Milvus에 삽입할 데이터로는 과거 뉴스 데이터들을 활용할 예정입니다. 여기 문서 분류 application에 사용되는 샘플 데이터를 아래 명령어로 다운로드합니다. wget --no-check-certificate 'https://docs.google.com/uc?export=download&id=1Lg2jL8..
이전 글들에서는 Vector Database의 전체적인 그림을 그리는 내용이었습니다. 이번 글부터는 여러 Vector Database 들 중 에서 "Milvus"에서 기초적인 내용들(Collection 생성, 데이터 및 임베딩 값 적재, 검색 등)에 대해 튜토리얼 형식으로 글 포스팅을 하고자 합니다. 2023.06.10 - [AI/Vector Database] - [Vector DB] 1. Vector Database 배경 & 필요성 2023.07.24 - [AI/Vector Database] - [Vector DB] 2. Vector Database 종류 & 한계점 Milvus 설치방법 설치법은 영상이나 아래 Documents를 참고하시는 것을 권장합니다. 가장 많이 설치하는 방식으로는 Milvus S..
이전 글에서는 Vector DB가 떠오르고 있는 배경과 왜 필요한지에 대해 글을 작성하였습니다. 2023.06.10 - [AI/Vector Database] - [Vector DB] 1. Vector Database 배경 & 필요성 [Vector DB] 1. Vector Database 배경 & 필요성 올해 상반기 AI sector에서 핫한 토픽은 AI를 보다 일반인들에게 쉽게, 친숙하게 접근할 수 있는 ChatGPT였습니다. 여기서 같이 수혜주로 받은 것은 Vector Database 분야입니다. 이미 Faiss, Redis, ScaNN 기존 hotorch.tistory.com 이번 글에서는 Vector DB 종류들을 (아주) 간단하게 알아보겠습니다. Vector Database 종류 먼저 한 번에 알..
올해 상반기 AI sector에서 핫한 토픽은 AI를 보다 일반인들에게 쉽게, 친숙하게 접근할 수 있는 ChatGPT였습니다. 여기서 같이 수혜주로 받은 것은 Vector Database 분야입니다. 이미 Faiss, Redis, ScaNN 기존 Vector Database 도 있었지만 작년 중순부터 스멀스멀 이야기가 나오던 Pinecone, Chroma, Weaviate, Qdrant 등 새로운 Vector Database가 나타나고 있습니다. 심지어 새롭게 뜨고 있는 Vector Database들에 대해서는 투자 금액이 쏠리고 있습니다. 참고로 Chief AI Officer의 트위터에서 4월 말 기준 투자 금액 기준으로 Top tools를 소개하면 다음과 같습니다. 왜 이렇게 갑자기 많은 Vector..