알리 카얌

🏷️ 인물 트랜스포머 LLM NeurIPS논문 Star

개요

알리 카얌(Ali Kayyam)은 미국 캘리포니아주 라구나힐스에 본사를 둔 BrainChip Inc. 소속 Principal Research Scientist입니다. 인공지능과 데이터과학 분야에서 15년 이상의 경력을 보유하고 있으며, BrainChip의 뉴로모픽 프로세서 Akida 플랫폼에서 대형 언어 모델을 실용적으로 구동하기 위한 트랜스포머 아키텍처 경량화 기법 개발에 집중하고 있습니다.

이란 테헤란의 IPM(Institute for Studies in Fundamental Sciences)에서 계산 신경과학 박사 학위를 받고 2017년 BrainChip에 합류했습니다. Akida 프로세서의 하드웨어 특성을 최대한 활용할 수 있도록 인기 모델을 변환하고 최적화하는 역할을 맡고 있습니다.

2026년 기준 트랜스포머 QKV 구조의 필수성을 검증하는 ICML 2026 채택 논문의 제1 저자로서 엣지 AI 연구 커뮤니티에서 주목받고 있습니다.

생애

알리 카얌은 IPM(Institute for Studies in Fundamental Sciences, 테헤란)에서 계산 신경과학 박사 학위를 받았습니다. 뇌의 정보 처리 원리와 인공 신경망의 접점을 연구하는 계산 신경과학 배경이 이후 뉴로모픽 컴퓨팅 연구와 자연스럽게 연결됩니다.

2017년 BrainChip Inc.에 합류해 Akida 뉴로모픽 프로세서 생태계 구축에 초창기부터 참여했습니다. BrainChip이 상업적으로 Akida를 출시하고 확장하는 과정에서 소프트웨어-하드웨어 공동 최적화(co-design) 관점의 모델 연구를 이끌었습니다.

2025년 5월 "Beyond QKV: Investigating KV and K Transformers" 연구를 SSRN에 공개하면서 QKV 구조 재검토 연구를 시작했고, 이를 확장한 "Do Transformers Need Three Projections?" 논문이 ICML 2026에 채택되는 성과로 이어졌습니다.

업적

알리 카얌의 첫 번째 의미있는 결과물은 2025년 5월 공개된 "Beyond QKV: Investigating KV and K Transformers"입니다. 이 연구는 Q를 제거한 KV 트랜스포머와 K만 남긴 K 트랜스포머를 비교 분석하며, 표준 QKV 대비 파라미터 수와 계산량을 줄이면서 비전 태스크에서는 동등하거나 우수한 성능을 달성할 수 있음을 보였습니다.

주요 업적은 ICML 2026 채택 논문 "Do Transformers Need Three Projections?"(Do Transformers Need Three Projections - Systematic Study of QKV Variants)입니다. 동료 연구원 아누샤 마단 고팔, 앤서니 루이스와 함께 Q=K-V, Q-K=V, Q=K=V 세 가지 프로젝션 공유 변형을 합성 태스크, 비전(MNIST, CIFAR, TinyImageNet), 언어 모델링(300M 및 1.2B 파라미터, 100억 토큰) 세 영역에서 체계적으로 실험했습니다.

핵심 발견은 Q-K=V 변형이 KV 캐시를 50% 절감하면서 퍼플렉시티 손실을 3.1%로 억제하는 최적 지점임을 실증한 것입니다. GQA-4와 결합하면 캐시 절감이 87.5%에 달하고, MQA와 결합하면 96.9%까지 늘어납니다. 이 결과는 뉴로모픽 엣지 칩처럼 메모리 대역폭이 제한된 환경에서 LLM을 실행할 때 직접 활용 가능한 설계 지침을 제공합니다.

여담

알리 카얌이 QKV 구조 연구에 뛰어든 배경에는 BrainChip Akida 프로세서의 실용적 제약이 있습니다. Akida는 스파이킹 신경망(SNN) 방식 기반이라 KV 캐시 메모리 비용이 일반 GPU 서버보다 훨씬 민감한 병목으로 작용합니다. 캐시 절감을 최대화하는 아키텍처 변형을 학술적으로 검증하는 것 자체가 제품 로드맵과 직결된 실용적 목표였습니다.

계산 신경과학 박사 배경이 뉴로모픽 하드웨어 연구로 이어진 경력 경로도 흥미롭습니다. 뇌에서 영감을 얻은 하드웨어를 설계하는 회사에서, 실제로 신경과학적 훈련을 받은 연구자가 소프트웨어 측을 담당하는 구조가 BrainChip의 독특한 점입니다.

주요 논문