fine-tuning 없이 모델 외부에 safety 자산을 두는 LLM 안전 프레임워크입니다. 공격 스킬 라이브러리와 경량 보조 디펜더가 공진화하며, victim model을 바꿔도 safety 자산을 그대로 재사용할 수 있습니다.
태그: AI평가
51개의 게시물
-
-
전 Cohere VP of Research [[Sara Hooker]]가 공동창업한 Adaption Labs가 첫 제품 AutoScientist를 공개했습니다. 모델 학습·정렬 전체 research loop을 자동화하는 시스템으로, 데이터 큐레이션과 학습 recipe를 동시에 self-improve 합니다. 사내 AI 리서처가 직접 설정한 학습 대비 평균 +35%, win rate는 48%에서 64%로 올랐다고 합니다. 첫 30일 무료, $50M 시드 (Emergence Capital + Mozilla Ventures 리드).
-
Anthropic이 2026년 5월 발표한 미·중 AI 경쟁 보고서를 한국 독자 시선으로 정리합니다. 두 시나리오, 네 개 전선, 그리고 행간.
-
CoT가 왜 되는지 아무도 몰랐습니다. KisMATH는 추론 트레이스에서 인과 그래프를 자동으로 추출하고, 그 그래프 경로를 억제했을 때 모델이 실제로 붕괴하는지 실험으로 확인했습니다. "중간 토큰이 장식이냐 실제 계산이냐"는 질문에 처음으로 엄밀한 인과 답변을 내놓은 연구입니다.
-
Humanity's Last Exam 초고난도 벤치마크
-
Prometheus 시리즈로 LLM-as-a-Judge 분야를 연 KAIST 출신 CMU 박사과정 연구자
-
Groq Language Processing Unit, 초저지연 추론 특화
-
AWS 커스텀 AI 칩, 128GB HBM3e, UltraServer 144칩
-
Apple Silicon M5, 온디바이스 AI 추론, M4 대비 4배
-
12개 언어 다국어 사실 환각 평가
-
NVIDIA Blackwell 아키텍처, H100 대비 훈련 2.5배 GPU
-
추상 추론 퍼즐 기반 AGI 평가
-
AMD CDNA-3 AI 가속기, 192GB HBM3
-
Cursor 엔지니어링 팀의 실제 코딩 세션에서 만든 사내 코딩 에이전트 벤치마크
-
MMLU의 후계, 10지선다 고난도 지식 평가
-
Scale AI 창립자 출신 Meta 수석 AI 책임자
-
웨이퍼 스케일 AI 칩, 4조 트랜지스터, 접시 크기
-
일상 상식 5지선다 질의응답 벤치마크
-
NVIDIA 차세대 칩, HBM4 288GB, 2026 하반기 예정
-
SenseTime Research의 spatial intelligence·평가 인프라 리드. SenseNova-SI·EASI 라인을 이끈다.
-
Agent Red Teaming 프롬프트 인젝션 강건성 벤치마크
-
초등 과학 객관식 추론 벤치마크
-
미국 수학 올림피아드 수학 추론 벤치마크
-
멀티모달 대학 수준 추론 벤치마크
-
한국어 LLM 평가 인프라(KMMLU·HAE-RAE·BiGGen Bench·SOOHAK)를 주도한 연구자, OnelineAI 공동창업자
-
MMLU의 다국어 확장, 57개 과목 14개 언어
-
파이썬 함수 작성 코딩 벤치마크
-
긴 컨텍스트 그래프 탐색 능력 평가
-
Google 7세대 TPU, 추론 최적화, 42.5 exaflops
-
AI 정렬 상태 자동 평가 벤치마크
-
Microsoft 커스텀 AI 칩, TSMC 3nm, 216GB HBM3e
-
H100 후속, 141GB HBM3e 추론 최적화 GPU
-
상식 추론 문장 완성 벤치마크
-
웹 브라우징+정보 수집 능력 평가 벤치마크
-
AI 은밀 부수 과제 수행 정렬 벤치마크
-
GitHub 이슈 해결 소프트웨어 엔지니어링 벤치마크
-
독해 기반 추출형 질의응답 벤치마크
-
지속 갱신되는 코드 컨테스트 벤치마크
-
데스크톱 GUI 환경 과제 수행 능력 평가
-
NVIDIA Hopper 아키텍처 AI 훈련/추론 표준 GPU
-
SambaNova Reconfigurable Dataflow Unit, 엔터프라이즈 추론
-
다지선다 종합 지식 평가 벤치마크
-
미공개 연구 수준 수학 벤치마크
-
실제 직무 산출물 기반 경제 가치 평가
-
대학원 수준 과학 질의응답 벤치마크
-
차트/그래프 이해 및 추론 벤치마크
-
실제 오피스 업무 기반 멀티모달 평가
-
초등 수학 문장제 벤치마크
-
터미널 복합 작업 수행 능력 평가
-
CTF 사이버보안 챌린지 벤치마크
-
실제 오픈소스 취약점 재현 능력 평가