AI 원리 이해하기

언어 모델의 토대

• LLM: 대규모 언어 모델, 요즘 AI의 중심
• 트랜스포머: 현대 언어 모델의 기본 구조
• 어텐션 메커니즘: 문맥에서 중요한 부분에 집중하는 방식
• 셀프 어텐션: 문장이 스스로를 참고하는 어텐션
• 위치 인코딩: 순서 정보를 모델에 넣는 법
• 토큰화: 문장을 모델이 읽는 단위로 쪼개기
• 임베딩: 단어와 의미를 숫자 벡터로 표현
• 사전 훈련: 대량 데이터로 기본기를 만드는 단계

머신러닝과 딥러닝

• 퍼셉트론: 신경망의 가장 작은 단위
• 역전파: 신경망이 오차로부터 배우는 방식
• 지도 학습: 정답을 주며 가르치기
• 비지도 학습: 정답 없이 패턴을 찾게 하기
• 강화 학습: 보상으로 행동을 다듬기
• 편향-분산 트레이드오프: 과소적합과 과적합 사이
• 정규화: 모델이 과하게 외우지 않게 하기
• 자연어 처리: 컴퓨터가 사람의 말을 다루는 분야
• 확산 모델: 이미지 생성 AI의 원리
• RAG: 외부 지식을 검색해 답에 반영
• 파인튜닝: 기존 모델을 특정 작업에 맞추기

최신 이론

• 연쇄 사고: 단계를 밟아 추론하게 하기
• RLHF: 사람 피드백으로 모델을 정렬하기
• GRPO: 보상 모델 없이 정책을 최적화하는 강화학습
• 혼합 전문가 모델: 필요한 전문가만 켜서 키우는 구조
• 증류: 큰 모델의 지식을 작은 모델로 옮기기
• 양자화: 정밀도를 낮춰 모델을 가볍게
• 창발(Emergence): 규모가 커지며 새 능력이 나타나는 현상