Surge AI

🏷️ LLM AI평가

Surge AI는 2020년 에드윈 첸이 창업한 미국 데이터 회사입니다. RLHF용 인간 선호 데이터, 강화학습 환경, 언어 데이터 어노테이션을 만들어 OpenAI, Anthropic, Microsoft, Meta 같은 프런티어 랩에 공급합니다.

특이한 점은 규모와 자본 구조입니다. 직원 100명 미만, 외부 투자 없는 부트스트랩 상태로 2024년 매출 12억 달러를 기록했습니다. 경쟁사인 Scale AI가 대규모 외부 자본을 받은 것과 대조됩니다.

최근에는 데이터 공급을 넘어 평가 인프라로 영역을 넓히고 있습니다. HANDBOOK.md - A Benchmark for Long-Context Agentic Instruction Following은 그 흐름에서 나온 벤치마크로, 도메인 전문가가 직접 쓴 20~124쪽짜리 사내 규정집 열 종을 기반으로 65개 에이전트 과제를 만들었습니다. 리더보드와 하네스는 surgehq.ai에서 공개합니다.