태그: AI평가

51개의 게시물

• 
  Model-Agnostic Lifelong LLM Safety via Externalized Attack-Defense Co-Evolution 2026-05-15

  fine-tuning 없이 모델 외부에 safety 자산을 두는 LLM 안전 프레임워크입니다. 공격 스킬 라이브러리와 경량 보조 디펜더가 공진화하며, victim model을 바꿔도 safety 자산을 그대로 재사용할 수 있습니다.

• 
  AutoScientist - Sara Hooker가 모델 학습 자체를 자동화합니다 2026-05-15

  전 Cohere VP of Research [[Sara Hooker]]가 공동창업한 Adaption Labs가 첫 제품 AutoScientist를 공개했습니다. 모델 학습·정렬 전체 research loop을 자동화하는 시스템으로, 데이터 큐레이션과 학습 recipe를 동시에 self-improve 합니다. 사내 AI 리서처가 직접 설정한 학습 대비 평균 +35%, win rate는 48%에서 64%로 올랐다고 합니다. 첫 30일 무료, $50M 시드 (Emergence Capital + Mozilla Ventures 리드).

• 
  2028년, 두 갈래 길 — 글로벌 AI 리더십에 대한 Anthropic의 시나리오 2026-05-15

  Anthropic이 2026년 5월 발표한 미·중 AI 경쟁 보고서를 한국 독자 시선으로 정리합니다. 두 시나리오, 네 개 전선, 그리고 행간.

• 
  KisMATH - Do LLMs Have Knowledge of Implicit Structures in Mathematical Reasoning 2026-05-04

  CoT가 왜 되는지 아무도 몰랐습니다. KisMATH는 추론 트레이스에서 인과 그래프를 자동으로 추출하고, 그 그래프 경로를 억제했을 때 모델이 실제로 붕괴하는지 실험으로 확인했습니다. "중간 토큰이 장식이냐 실제 계산이냐"는 질문에 처음으로 엄밀한 인과 답변을 내놓은 연구입니다.

• 
  HLE

  Humanity's Last Exam 초고난도 벤치마크

• 
  Seungone Kim

  Prometheus 시리즈로 LLM-as-a-Judge 분야를 연 KAIST 출신 CMU 박사과정 연구자

• 
  Groq LPU

  Groq Language Processing Unit, 초저지연 추론 특화

• 
  Amazon Trainium3

  AWS 커스텀 AI 칩, 128GB HBM3e, UltraServer 144칩

• 
  Apple M5

  Apple Silicon M5, 온디바이스 AI 추론, M4 대비 4배

• 
  ECLeKTic

  12개 언어 다국어 사실 환각 평가

• 
  NVIDIA B200

  NVIDIA Blackwell 아키텍처, H100 대비 훈련 2.5배 GPU

• 
  ARC-AGI-2

  추상 추론 퍼즐 기반 AGI 평가

• 
  AMD MI300X

  AMD CDNA-3 AI 가속기, 192GB HBM3

• 
  CursorBench

  Cursor 엔지니어링 팀의 실제 코딩 세션에서 만든 사내 코딩 에이전트 벤치마크

• 
  MMLU-Pro

  MMLU의 후계, 10지선다 고난도 지식 평가

• 
  Alexandr Wang

  Scale AI 창립자 출신 Meta 수석 AI 책임자

• 
  Cerebras WSE-3

  웨이퍼 스케일 AI 칩, 4조 트랜지스터, 접시 크기

• 
  CommonsenseQA

  일상 상식 5지선다 질의응답 벤치마크

• 
  NVIDIA Vera Rubin

  NVIDIA 차세대 칩, HBM4 288GB, 2026 하반기 예정

• 
  Lei Yang

  SenseTime Research의 spatial intelligence·평가 인프라 리드. SenseNova-SI·EASI 라인을 이끈다.

• 
  ART

  Agent Red Teaming 프롬프트 인젝션 강건성 벤치마크

• 
  ARC

  초등 과학 객관식 추론 벤치마크

• 
  USAMO

  미국 수학 올림피아드 수학 추론 벤치마크

• 
  MMMU-Pro

  멀티모달 대학 수준 추론 벤치마크

• 
  Guijin Son

  한국어 LLM 평가 인프라(KMMLU·HAE-RAE·BiGGen Bench·SOOHAK)를 주도한 연구자, OnelineAI 공동창업자

• 
  MMMLU

  MMLU의 다국어 확장, 57개 과목 14개 언어

• 
  HumanEval

  파이썬 함수 작성 코딩 벤치마크

• 
  GraphWalks

  긴 컨텍스트 그래프 탐색 능력 평가

• 
  Google TPU v7 Ironwood

  Google 7세대 TPU, 추론 최적화, 42.5 exaflops

• 
  Petri

  AI 정렬 상태 자동 평가 벤치마크

• 
  Microsoft Maia 200

  Microsoft 커스텀 AI 칩, TSMC 3nm, 216GB HBM3e

• 
  NVIDIA H200

  H100 후속, 141GB HBM3e 추론 최적화 GPU

• 
  HellaSwag

  상식 추론 문장 완성 벤치마크

• 
  BrowseComp

  웹 브라우징+정보 수집 능력 평가 벤치마크

• 
  SHADE-Arena

  AI 은밀 부수 과제 수행 정렬 벤치마크

• 
  SWE-bench

  GitHub 이슈 해결 소프트웨어 엔지니어링 벤치마크

• 
  SQuAD

  독해 기반 추출형 질의응답 벤치마크

• 
  LiveCodeBench

  지속 갱신되는 코드 컨테스트 벤치마크

• 
  OSWorld

  데스크톱 GUI 환경 과제 수행 능력 평가

• 
  NVIDIA H100

  NVIDIA Hopper 아키텍처 AI 훈련/추론 표준 GPU

• 
  SambaNova SN40L

  SambaNova Reconfigurable Dataflow Unit, 엔터프라이즈 추론

• 
  MMLU

  다지선다 종합 지식 평가 벤치마크

• 
  FrontierMath

  미공개 연구 수준 수학 벤치마크

• 
  GDPval

  실제 직무 산출물 기반 경제 가치 평가

• 
  GPQA Diamond

  대학원 수준 과학 질의응답 벤치마크

• 
  CharXiv

  차트/그래프 이해 및 추론 벤치마크

• 
  OfficeQA Pro

  실제 오피스 업무 기반 멀티모달 평가

• 
  GSM8K

  초등 수학 문장제 벤치마크

• 
  Terminal-Bench

  터미널 복합 작업 수행 능력 평가

• 
  Cybench

  CTF 사이버보안 챌린지 벤치마크

• 
  CyberGym

  실제 오픈소스 취약점 재현 능력 평가