CME295 트랜스포머와 LLM 강의 목차
CME295 트랜스포머와 LLM 강의 (2025 가을)
Stanford CME295: Transformers & Large Language Models — Afshine & 셔빈 아미디 유튜브 강의 트랜스크립트를 한국어 도서 형식으로 정리한 시리즈
Part I. 트랜스포머 기초
| 장 | 제목 | 핵심 주제 |
|---|---|---|
| 1 | 1장 - 트랜스포머 | 토큰화, 워드 임베딩, RNN, 셀프 어텐션, 트랜스포머 아키텍처 |
| 2 | 2장 - 트랜스포머 모델과 기법 | 위치 임베딩(사인파, RoPE), 정규화, BERT, 모델 분류 |
| 3 | 3장 - 대규모 언어 모델 | LLM 정의, MoE, 디코딩 전략, 프롬프팅, KV 캐시 |
Part II. LLM 훈련
| 장 | 제목 | 핵심 주제 |
|---|---|---|
| 4 | 4장 - LLM 훈련 | 사전훈련, 스케일링 법칙, 병렬화, Flash Attention, SFT, LoRA |
| 5 | 5장 - LLM 튜닝 | 선호 튜닝, RLHF, 보상 모델, Bradley-Terry, PPO, DPO |
Part III. LLM 고급 활용
| 장 | 제목 | 핵심 주제 |
|---|---|---|
| 6 | 6장 - LLM 추론 | 추론 모델, pass@k, GRPO, DeepSeek R1, 길이 편향 |
| 7 | 7장 - 에이전트 LLM | RAG 파이프라인, BM25, SBERT, 도구 호출, MCP, ReAct |
Part IV. 평가와 전망
| 장 | 제목 | 핵심 주제 |
|---|---|---|
| 8 | 8장 - LLM 평가 | 평가자 일치도, BLEU/ROUGE, LLM-as-a-Judge, 벤치마크 |
| 9 | 9장 - 종합 정리와 최신 동향 | 전체 복습, Vision Transformer, 확산 기반 LLM, 미래 방향 |