태그: 트랜스포머

36개의 게시물

• 
  Language Models Can Control Their Own Attention 2026-09-04

  긴 컨텍스트 디코드에서 매 스텝 전체 KV를 읽는 비용을, 모델이 CoT 안에 어텐션 범위를 선언하게 해서 줄입니다. KAIST·DeepMind 자문 팀이 제안한 Declarative Attention은 제로샷으로 attended tokens를 최대 52% 줄이고, 정확도 손실은 1~3pp 수준입니다.

• 
  Metis - Memory Foundation Model 2026-08-01

  에이전트 메모리를 RAG 같은 외부 모듈로 붙이는 대신 백본 안에 지속적으로 진화하는 메모리 상태를 심은 첫 프로토타입입니다. 온라인 갱신에 그래디언트가 필요 없고 forward 한 번이면 끝나며, 추론 시 학습된 가중치는 전부 동결됩니다.

• 
  Jet-Long - Efficient Long-Context Extension with Dynamic Bifocal RoPE 2026-07-15

  추가 학습 없이 짧은 입력 성능을 유지하면서 긴 컨텍스트로 외삽하는 방법입니다. 로컬 구간은 RoPE에 충실하게, 장거리 구간은 파라미터 없이 해석적으로 재스케일되는 Dynamic Bifocal RoPE를 씁니다. H100에서 FlashAttention-2 대비 최대 1.39배 처리량을 냈습니다.

• 
  MiniMax Sparse Attention 2026-06-16

  1M 토큰 컨텍스트에서 어텐션 연산량을 28.4배 줄이면서 성능 손실을 거의 없앤 MiniMax의 희소 어텐션 메커니즘. 경량 인덱서가 GQA 그룹마다 필요한 KV 블록만 선별하고, GPU 커널을 이것에 맞춰 공동 설계했다.

• 
  Gated Attention for Large Language Models - Non-linearity, Sparsity, and Attention-Sink-Free 2026-06-15

  어텐션 출력 뒤에 헤드별 시그모이드 게이트 하나. PPL -0.2, MMLU +2점, 어텐션 싱크 소멸. NeurIPS 2025 Best Paper.

• 
  Do Transformers Need Three Projections - Systematic Study of QKV Variants 2026-06-11

  트랜스포머의 핵심 구성 요소인 Q, K, V 세 가지 투영을 공유하는 경우를 체계적으로 평가한 논문. 언어 모델링에서 Q-K=V 투영 공유는 KV 캐시를 50% 감소시키면서 퍼플렉시티는 3.1%만 저하된다는 결과를 제시합니다.

• 
  CME295 트랜스포머와 LLM 강의 목차 2026-04-14
• 
  1장 - 트랜스포머 2026-04-13

  토큰화와 단어 표현부터 어텐션 메커니즘, 셀프 어텐션까지 거슬러 올라가 2017년 트랜스포머 아키텍처가 등장한 배경과 구조를 설명합니다

• 
  2장 - 트랜스포머 모델과 기법 2026-04-12

  위치 임베딩, 층 정규화, 그룹 쿼리 어텐션 등 트랜스포머를 개선하는 기법과, BERT를 중심으로 한 인코더 계열 모델의 구조를 다룹니다

• 
  3장 - 대규모 언어 모델 2026-04-11

  혼합 전문가 모델과 온도, 프롬프팅 전략으로 LLM의 응답 생성 방식을 살펴보고, KV 캐시와 PagedAttention 등 추론 최적화 기법을 다룹니다

• 
  비전 트랜스포머 2026-04-10

  이미지를 패치 단위로 분할하여 트랜스포머 인코더로 처리하는 이미지 인식 아키텍처

• 
  트랜스포머 2026-04-10

  셀프 어텐션 기반으로 RNN을 대체하여 병렬 시퀀스 처리를 가능하게 한 신경망 아키텍처

• 
  어텐션 메커니즘 2026-04-10

  시퀀스 내 요소들의 상관성을 가중 합으로 계산하여 중요한 정보에 집중하는 메커니즘

• 
  셀프 어텐션 2026-04-10

  시퀀스 내 각 위치가 같은 시퀀스의 다른 위치들과 어텐션을 수행하는 메커니즘

• 
  위치 인코딩 2026-04-10

  순서 정보가 없는 셀프 어텐션에 토큰의 위치 정보를 추가하는 방법

• 
  4장 - LLM 훈련 2026-04-10

  스케일링 법칙과 데이터 및 모델 병렬 처리, 플래시 어텐션과 양자화 등 LLM 사전 훈련 최적화 기법과, LoRA를 이용한 효율적 미세 조정을 다룹니다

• 
  RoPE 2026-04-10

  토큰 쌍 간의 상대 위치를 회전 행렬로 어텐션에 직접 반영하는 위치 인코딩 방법

• 
  5장 - LLM 튜닝 2026-04-09

  인간 선호도로 LLM을 정렬하는 RLHF 파이프라인과 보상 모델, PPO를 이용한 정책 최적화, 그리고 대안인 DPO의 원리를 다룹니다

• 
  6장 - LLM 추론 2026-04-08

  추론 능력을 강화학습으로 확장하는 GRPO 알고리즘과 PPO의 차이, 길이 편향 문제, DeepSeek R1의 훈련 레시피를 다룹니다

• 
  7장 - 에이전트 LLM 2026-04-07

  지식 베이스 검색과 순위 재조정으로 구성되는 RAG 파이프라인과, 도구 호출 및 MCP를 활용한 ReAct 에이전트의 관찰과 행동 루프를 다룹니다

• 
  8장 - LLM 평가 2026-04-06

  BLEU, ROUGE 같은 규칙 기반 지표의 한계를 짚고, LLM as a Judge의 편향과 모범 사례, 에이전트 평가와 벤치마크 설계 방법을 다룹니다

• 
  9장 - 종합 정리와 최신 동향 2026-04-05

  강의 전체를 복습한 뒤 비전 트랜스포머와 비전 언어 모델, 확산 기반 LLM 등 모달리티 간 기술 이전과 향후 연구 방향을 정리합니다

• 
  Kimi Linear An Expressive, Efficient Attention Architecture 2025-11-05

  현대 트랜스포머의 약점을 개선한 새 어텐션 구조 Kimi Linear를 소개합니다. 선형 어텐션 기반으로 효율과 성능을 동시에 끌어올린 접근을 다룹니다.

• 
  The Dragon Hatchling The Missing Link between the Transformer and Models of the Brain 2025-10-21

  Dragon Hatchling(BDH)은 트랜스포머와 뇌 모델 사이의 연결고리를 찾습니다. 생물학적으로 그럴듯한 그래프 기반 뉴런 네트워크로 설계되어, 헤비안 학습과 스파이킹 뉴런을 사용하면서도 GPT-2 수준의 성능을 달성했습니다. 핵심은 attention을 시냅스 가소성으로, feed-forward를 국소적 그래프 동역학으로 재해석한 것입니다.

• 
  Attention Is All You Need 2025-09-01

  'Attention Is All You Need'는 RNN을 버리고 셀프 어텐션만으로 시퀀스를 처리하는 Transformer 아키텍처를 제안한 2017년 논문입니다. 기계 번역에서 당시 SOTA를 경신했고, 이후 BERT·GPT·Claude를 포함한 거의 모든 대형 언어 모델의 기반이 되었습니다.

• 
  MLA

  KV 캐시를 저차원 잠재 공간으로 압축하는 어텐션 변형. DeepSeek-V2에서 제안됐고 대형 MoE의 사실상 표준 어텐션이 됐다

• 
  앤서니 루이스

  BrainChip Inc. 수석 연구과학자. 뉴로모픽 AI 및 트랜스포머 경량화 팀 리드.

• 
  알리 카얌

  BrainChip Inc. 선임 연구원. 뉴로모픽 칩 기반 엣지 AI 추론을 위한 트랜스포머 경량화 연구자.

• 
  라이쉰하오

  베이징대학교 지능과학기술학원 석사과정. 장문 컨텍스트 효율화와 희소 어텐션 연구자. MiniMax Sparse Attention 1저자.

• 
  ID-RoPE

  회전 위치 임베딩(RoPE)의 1차원 변형, 선형 토큰 시퀀스 위치 인코딩

• 
  아프신 아미디

  스탠퍼드 CME295 트랜스포머와 LLM 강의 공동 강사

• 
  아누샤 마단 고팔

  BrainChip Inc. 연구원. 트랜스포머 어텐션 메커니즘 효율화 및 뉴로모픽 추론 연구자.

• 
  The Dragon Hatchling

  Pathway가 2025년 9월 공개한 포스트 트랜스포머 아키텍처. 고차원 양의 활성값, 저랭크 통신, 순환 연상 상태로 트랜스포머와 뇌 모델 사이를 잇습니다

• 
  양송린

  MIT CSAIL 연구원, Gated Delta Networks(ICLR 2025) 주저자, 선형 어텐션과 상태 공간 모델 연구자

• 
  트랜스포머 논문 저자

  Attention Is All You Need 트랜스포머 논문 저자 그룹

• 
  치우쯔한

  Qwen Team(Alibaba) 연구원, Gated Attention(NeurIPS 2025 Best Paper) 공동 1저자, LLM 어텐션 메커니즘 연구자