태그: cme295

10개의 게시물

• 
  CME295 트랜스포머와 LLM 강의 목차 2026-04-14
• 
  1장 - 트랜스포머 2026-04-13

  토큰화와 단어 표현부터 어텐션 메커니즘, 셀프 어텐션까지 거슬러 올라가 2017년 트랜스포머 아키텍처가 등장한 배경과 구조를 설명합니다

• 
  2장 - 트랜스포머 모델과 기법 2026-04-12

  위치 임베딩, 층 정규화, 그룹 쿼리 어텐션 등 트랜스포머를 개선하는 기법과, BERT를 중심으로 한 인코더 계열 모델의 구조를 다룹니다

• 
  3장 - 대규모 언어 모델 2026-04-11

  혼합 전문가 모델과 온도, 프롬프팅 전략으로 LLM의 응답 생성 방식을 살펴보고, KV 캐시와 PagedAttention 등 추론 최적화 기법을 다룹니다

• 
  4장 - LLM 훈련 2026-04-10

  스케일링 법칙과 데이터 및 모델 병렬 처리, 플래시 어텐션과 양자화 등 LLM 사전 훈련 최적화 기법과, LoRA를 이용한 효율적 미세 조정을 다룹니다

• 
  5장 - LLM 튜닝 2026-04-09

  인간 선호도로 LLM을 정렬하는 RLHF 파이프라인과 보상 모델, PPO를 이용한 정책 최적화, 그리고 대안인 DPO의 원리를 다룹니다

• 
  6장 - LLM 추론 2026-04-08

  추론 능력을 강화학습으로 확장하는 GRPO 알고리즘과 PPO의 차이, 길이 편향 문제, DeepSeek R1의 훈련 레시피를 다룹니다

• 
  7장 - 에이전트 LLM 2026-04-07

  지식 베이스 검색과 순위 재조정으로 구성되는 RAG 파이프라인과, 도구 호출 및 MCP를 활용한 ReAct 에이전트의 관찰과 행동 루프를 다룹니다

• 
  8장 - LLM 평가 2026-04-06

  BLEU, ROUGE 같은 규칙 기반 지표의 한계를 짚고, LLM as a Judge의 편향과 모범 사례, 에이전트 평가와 벤치마크 설계 방법을 다룹니다

• 
  9장 - 종합 정리와 최신 동향 2026-04-05

  강의 전체를 복습한 뒤 비전 트랜스포머와 비전 언어 모델, 확산 기반 LLM 등 모달리티 간 기술 이전과 향후 연구 방향을 정리합니다