리온 존스

🏷️ 인물 LLM 딥러닝

개요

리온 존스(Llion Jones)는 2017년 Attention Is All You Need 논문의 공동저자 8인 중 한 명으로, Google Brain에서 트랜스포머(Transformer) 아키텍처를 개발하는 데 기여했습니다. 현재는 사카나 AI(Sakana AI)의 공동창업자 겸 CTO로, 트랜스포머를 넘어선 새로운 AI 아키텍처를 탐구하는 연구를 이끌고 있습니다.

버밍엄대학교(University of Birmingham) 졸업 후 10년 이상 Google에서 일하다가 2023년 트랜스포머 논문의 공동저자 중 일부와 함께 사카나 AI를 도쿄에 창업했습니다. 군집 지능(swarm intelligence)과 자연에서 영감을 받은 학습 시스템이 사카나 AI의 핵심 연구 방향입니다.

생애

리온 존스는 영국 버밍엄대학교를 졸업한 후 Google에 합류했습니다. Google Brain에서 주로 연구 활동을 이어가며 자연어 처리와 신경망 아키텍처 분야에 집중했습니다.

2017년 아시시 바스와니, 노암 셰이저, 니키 파마르, 야코브 우스코레이트, 리온 존스, 에이단 고메즈, 루카스 카이저, 일리아 폴로수킨 8인의 팀이 Attention Is All You Need를 발표하며 트랜스포머 아키텍처를 세상에 내놓았습니다. 이 논문은 현재 가장 많이 인용되는 딥러닝 논문 중 하나입니다.

2023년 논문 공동저자들과의 재결합이 이루어졌습니다. 아시시 바스와니, 니키 파마르 등이 미국에서 Essential AI를 창업한 반면, 리온 존스는 데이비드 하와 함께 일본 도쿄에 사카나 AI를 공동창업하며 다른 경로를 선택했습니다. 2025년 TED AI 샌프란시스코 컨퍼런스에서 기조 강연자로 참가하는 등 AI 커뮤니티에서 활발한 발언을 이어가고 있습니다.

업적

리온 존스의 가장 잘 알려진 기여는 Attention Is All You Need(Vaswani 외, NeurIPS 2017) 공동 저술입니다. 이 논문에서 어텐션 메커니즘만으로 순환 신경망(RNN)과 합성곱 신경망(CNN)을 완전히 대체하는 트랜스포머 구조를 제안했고, 기계 번역 등 시퀀스 과제에서 당시 최고 성능을 달성했습니다. 이 아키텍처는 이후 BERT, GPT, T5, LLaMA 등 거의 모든 현대 대형 언어모델의 기반이 되었습니다.

사카나 AI에서는 자연에서 영감을 받은 AI 연구를 추진하고 있습니다. 개별 요소는 단순하지만 집단이 창발적 행동을 보이는 군집 지능 원리를 신경망에 적용하는 것이 연구의 핵심입니다. 대표 성과로는 뇌의 동기화 메커니즘을 신경망에 통합한 Continuous Thought Machine(지속적 사고 기계)이 있으며, 이는 트랜스포머와 다른 방식으로 추론을 처리하는 실험적 아키텍처입니다.

여담

리온 존스는 트랜스포머를 공동으로 설계한 당사자이면서도 "나는 트랜스포머에 지쳤다(absolutely sick of transformers)"라고 공개적으로 선언해 주목을 받았습니다. TED AI 컨퍼런스와 여러 인터뷰에서 현재 AI 분야가 트랜스포머 단일 아키텍처에 지나치게 의존하고 있으며, 더 근본적인 새로운 방향을 찾아야 한다고 주장했습니다.

사카나 AI의 연구 문화에 대해서는 "트랜스포머 이전 시대의 연구 분위기를 재현하려 한다"고 설명했습니다. KPI보다 호기심, 트렌드 추종보다 자연에서 온 영감, 이것이 그가 말하는 사카나 AI의 분위기입니다. 트랜스포머를 만든 사람이 그것을 넘어서겠다고 나선 역설적인 상황 자체가 AI 연구 커뮤니티에 시사하는 바가 적지 않습니다.

주요 논문