니키 파마르

🏷️ 인물 LLM 딥러닝

개요

니키 파마르(Niki Parmar)는 2017년 "Attention Is All You Need" 논문의 여덟 공동저자 중 한 명으로, Transformer 아키텍처의 탄생에 직접 기여한 연구자입니다. Google Brain에서 아시시 바스와니, 노암 셰이저 등과 함께 트랜스포머를 개발했으며, 이후 창업과 이직을 반복하며 산업계 최전선에서 활동하고 있습니다. 2025년 1월부터는 Anthropic의 Member of Technical Staff로 재직 중입니다.

연구자로서 파마르의 기여는 트랜스포머 원 논문에만 머물지 않습니다. 트랜스포머를 이미지 생성으로 확장한 Image Transformer 연구에도 참여했으며, 창업 활동을 통해 대형 언어 모델 기반 엔터프라이즈 AI 제품 개발에도 직접 관여했습니다. 연구와 창업, 이직을 빠른 속도로 넘나드는 커리어가 특징입니다.

생애

니키 파마르는 인도 출신의 AI 연구자로, 학부 이후 기계학습 분야로 진출하며 Google에 합류했습니다. Google Brain에서 일하던 2017년, 그는 아시시 바스와니, 노암 셰이저, 야곱 우슈코레이트, 니키 파마르, 리온 존스, 에이단 고메즈, 루카스 카이저, 일리아 폴로수킨과 함께 "Attention Is All You Need"를 공동 발표하며 딥러닝 역사에 이름을 남겼습니다.

Google Brain 이후 2022년 Adept AI Labs의 CTO로 잠시 활동했습니다. 2023년 1월에는 아시시 바스와니와 함께 Essential AI를 공동창업해 엔터프라이즈 AI 시장을 겨냥한 기반 모델 연구를 이끌었습니다. Essential AI는 Google, Nvidia, AMD 등으로부터 투자를 유치하며 주목받았습니다. 2024년 9월 Essential AI를 떠난 뒤, 2025년 1월부터 Anthropic에서 강화 학습(RL) 연구를 담당하고 있습니다.

업적

파마르의 가장 큰 업적은 Transformer 아키텍처 공동 개발입니다. "Attention Is All You Need"는 순환 신경망(RNN)이나 합성곱 신경망(CNN) 없이 셀프 어텐션만으로 시퀀스-투-시퀀스 번역을 처리하는 구조를 제안했으며, 이는 GPT, BERT, T5를 거쳐 현재 대형 언어 모델 전체의 기반 아키텍처가 되었습니다.

후속 연구로는 Image Transformer가 있습니다. 트랜스포머 아키텍처를 이미지 생성 태스크에 적용한 연구로, 픽셀 단위 이미지 생성에 셀프 어텐션을 활용하는 방향을 탐구했습니다. Anthropic에서는 어려운 탐색(hard exploration) 태스크를 위한 RL 연구와 테스트 시간 스케일링(test-time scaling) 연구를 진행하는 것으로 알려져 있습니다. 이는 Anthropic이 추진하는 차세대 모델 능력 향상 전략의 일부입니다.

여담

트랜스포머 논문의 저자 여덟 명은 각자 다른 방향으로 흩어진 뒤 현재도 AI 산업의 핵심 위치에서 활동하고 있습니다. 파마르는 그중에서도 창업과 이직을 가장 활발하게 반복한 사례에 속합니다. Adept AI, Essential AI, Anthropic으로 이어지는 행보는 그가 특정 기업이나 역할에 오래 머무르기보다 기술적 도전이 있는 곳으로 빠르게 이동하는 스타일임을 보여 줍니다.

Anthropic 합류는 트랜스포머 시대의 주역이 현재 AI 안전성 연구의 선두 기업에서 RL 기반 모델 역량 강화를 담당하게 되었다는 점에서 흥미롭습니다. 트랜스포머 이후의 프런티어를 어떻게 바라보는지 그의 향후 연구 방향이 주목됩니다.

주요 논문