LLM, 눈으로 익히고 손으로 구현하라. 트랜스포머 구조부터 시맨틱 검색, 미세 튜닝, 프롬프트 엔지니어링까지 그림과 실전 코드로 만들면서 배우는 대규모 언어 모델의 모든 것 이 책은 LLM을 쓰는 것을 넘어, 이해하고 구현하는 것까지 나아가고 싶은 이를 위한 실전 가이드입니다. 직관적인 시각 자료와 예제를 제공해 ‘왜 이런 구조가 필요한지’ 이해하고 실용적인 도구와 개념을 익힐 수 있도록 구성했습니다. 사전 훈련된 대규모 언어 모델을 사용하는 방법과 시맨틱 검색 시스템을 만드는 방법, 텍스트 분류, 검색, 클러스터링을 위해 사전 훈련된 모델과 각종 라이브러리를 사용하는 방법을 배웁니다. ● 텍스트 생성과 표현에 뛰어난 트랜스포머 언어 모델의 구조 ● 텍스트 문서를 그룹화하고 주제를 파악하는 고급 LLM 파이프라인 ● 밀집 검색과 재순위 결정 같은 방법으로 키워드 검색을 넘어서는 의미 검색 엔진 구축 ● 프롬프트 엔지니어링부터 검색 증강 생성까지 생성 모델 활용법 ● 미세 튜닝, 생성적 사전 학습, 문맥 학습 같은 기술로 특정 용도에 맞게 LLM을 훈련하고 최적화하는 방법

1부 언어 모델 이해하기 1장 대규모 언어 모델 소개 _1.1 언어 AI란? _1.2 언어 AI의 최근 역사 _1.3 ‘대규모 언어 모델’의 정의 _1.4 대규모 언어 모델의 훈련 패러다임 _1.5 대규모 언어 모델 애플리케이션: 왜 유용한가요? _1.6 책임 있는 LLM 개발과 사용 _1.7 자원이 부족해도 괜찮습니다. _1.8 대규모 언어 모델 인터페이스 _1.9 첫 번째 텍스트 생성하기 _1.10 요약 2장 토큰과 임베딩 _2.1 LLM 토큰화 _2.2 토큰 임베딩 _2.3 텍스트 임베딩(문장과 전체 문서) _2.4 LLM을 넘어 활용되는 단어 임베딩 _2.5 추천 시스템을 위한 임베딩 _2.6 요약 3장 대규모 언어 모델 자세히 살펴보기 _3.1 트랜스포머 모델 개요 _3.2 트랜스포머 아키텍처의 최근 발전 사항 _3.3 요약 2부 사전 훈련된 언어 모델 사용하기 4장 텍스트 분류 _4.1 영화 리뷰 데이터셋 _4.2 표현 모델로 텍스트 분류하기 _4.3 모델 선택 _4.4 작업에 특화된 모델 사용하기 _4.5 임베딩을 활용하여 분류 작업 수행하기 _4.6 생성 모델로 텍스트 분류하기 _4.7 요약 5장 텍스트 클러스터링과 토픽 모델링 _5.1 아카이브 논문: 계산 및 언어 _5.2 텍스트 클러스터링을 위한 파이프라인 _5.3 텍스트 클러스터링에서 토픽 모델링으로 _5.4 요약 6장 프롬프트 엔지니어링 _6.1 텍스트 생성 모델 사용하기 _6.2 프롬프트 엔지니어링 소개 _6.3 고급 프롬프트 엔지니어링 _6.4 생성 모델을 사용한 추론 _6.5 출력 검증 _6.6 요약 7장 고급 텍스트 생성 기술과 도구 _7.1 모델 I/O: 랭체인으로 양자화된 모델 로드하기 _7.2 체인: LLM의 능력 확장하기 _7.3 메모리: 대화를 기억하도록 LLM 돕기 _7.4 에이전트: LLM 시스템 구축하기 _7.5 요약 8장 시맨틱 검색과 RAG _8.1 시맨틱 검색과 RAG 소개 _8.2 언어 모델을 사용한 시맨틱 검색 _8.3 RAG _8.4 요약 9장 멀티모달 대규모 언어 모델 _9.1 비전 트랜스포머 _9.2 멀티모달 임베딩 모델 _9.3 텍스트 생성 모델을 멀티모달로 만들기 _9.4 요약 3부 언어 모델 훈련 및 미세 튜닝 10장 텍스트 임베딩 모델 만들기 _10.1 임베딩 모델 _10.2 대조 학습이란? _10.3 SBERT _10.4 임베딩 모델 만들기 _10.5 임베딩 모델 미세 튜닝 _10.6 비지도 학습 _10.7 요약 11장 분류용 표현 모델 미세 튜닝하기 _11.1 지도 분류 _11.2 퓨샷 분류 _11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기 _11.4 개체명 인식 _11.5 요약 12장 생성 모델 미세 튜닝하기 _12.1 LLM 훈련의 세 단계: 사전 훈련, 지도 학습 미세 튜닝, 선호도 튜닝 _12.2 지도 학습 미세 튜닝 _12.3 QLoRA를 사용한 지시 기반 튜닝 _12.4 생성 모델 평가 _12.5 선호도 튜닝/정렬/RLHF _12.6 보상 모델을 사용한 선호도 평가 자동화 _12.7 DPO를 사용한 선호도 튜닝 _12.8 요약 마치며

대규모 언어 모델(LLM)이 인류의 소통 방식을 근본적으로 바꾸고 있습니다. 기계가 인간의 언어를 이해하고 생성하는 능력은 AI 기술의 새 지평을 열었을 뿐 아니라, 산업 전반에 혁신의 바람을 불러일으키고 있습니다. 이 책은 시각적 접근법으로 복잡한 LLM의 세계를 명쾌하게 안내합니다. 딥러닝 이전 단순한 단어 표현 방식부터 최신 트랜스포머 아키텍처까지, LLM의 발전 과정을 한눈에 파악할 수 있습니다. 독자는 LLM의 내부 작동 원리를 이해하고, 그 구조와 훈련 방법, 다양한 미세 튜닝 기법을 직접 탐험하게 됩니다. 실용적인 응용에 중점을 둔 이 책은 텍스트 분류, 클러스터링, 토픽 모델링부터 챗봇과 검색 엔진 구축까지 다양한 LLM 응용 사례를 상세히 다룹니다. 직관적인 설명과 시각적 도해, 실전 코드가 조화롭게 어우러져 독자가 쉽게 이해할 수 있습니다. AI와 언어 모델에 첫 발을 내딛는 입문자부터 더 깊은 이해를 추구하는 전문가까지, 흥미진진한 LLM의 세계로 여러분을 초대합니다. 이 책과 함께라면 누구나 LLM의 무한한 가능성을 직접 경험할 수 있을 것입니다. 이 책의 구성 1부: 언어 모델 이해하기 ● 소규모 및 대규모 언어 모델의 내부 동작 원리 ● 언어 모델의 두 가지 핵심 요소: 토큰화와 임베딩 ● 그림으로 살펴보는 트랜스포머의 모델 구조 2부: 사전 훈련된 언어 모델 사용하기 ● 지도 학습 분류 ● 텍스트 클러스터링과 토픽 모델링 ● 임베딩 모델 활용한 시맨틱 검색 ● 텍스트 생성 모델 ● 비전 도메인에 언어 모델 사용하는 방법 3부: 언어 모델 훈련 및 미세 튜닝 ● 임베딩 모델을 만들고 미세 튜닝하는 방법 ● 분류를 위해 BERT를 미세 튜닝하는 방법 ● 생성 모델을 미세 튜닝하는 방법 대상 독자 ● 챗GPT 같은 AI 서비스가 어떻게 작동하는지 궁금하신 분 ● NLP 프로젝트를 시작하려는 학생 및 개발자 ● AI를 활용한 비즈니스 모델을 고민하는 실무자