피에르 스톡
개요
피에르 스톡(Pierre Stock)은 Mistral AI 연구자입니다. 머신러닝과 딥러닝이 전공이고 피인용 18,000회를 넘었습니다.
연구 이력
주 분야는 신경망 양자화입니다. 2019년 "And the bit goes down: Revisiting the quantization of neural networks"에서 추론 시간을 유지하면서 가중치를 양자화해 메모리 사용량을 줄이는 방법을 냈습니다. 이후 LLM-QAT에서는 사전학습 모델이 스스로 만든 생성물을 활용하는 데이터 없는 증류 방식으로 LLM 양자화 인식 학습을 밀어붙였습니다.
Mistral 7B 저자진에 포함돼 있어 Mistral AI 초기 모델 개발에도 참여했습니다.
작은 모델로 큰 모델의 성능을 내려는 문제의식이 Shieldstral과 이어집니다. 3B 파라미터 분류기가 20B 모델과 대등한 F1을 내면서 단일 토큰 출력으로 추론 비용까지 줄인 설계는 양자화 연구와 같은 방향입니다.