Souper-Model How Simple Arithmetic Unlocks State-of-the-Art LLM Performance
여러 개의 언어 모델을 평균화하는 방식만으로 새로운 모델을 훈련시키지 않고도 성능을 높일 수 있습니다. 단순 평균이 아니라 각 모델의 강점이 나타나는 부분을 찾아 비율을 다르게 섞는 SoCE를 제안합니다. 함수 호출 벤치마크에서 새로운 최고 성능을 달성했습니다.
태그: Headliner
12개의 게시물
Depth Anything 3 Recovering the Visual Space from Any Views
Depth Anything 3는 한 장의 이미지든 여러 장의 영상이든, 카메라 포즈 정보가 있든 없든 상관없이 3D 기하 정보를 예측하는 모델입니다. 평범한 트랜스포머 하나와 단순한 깊이-광선(depth-ray) 표현으로 이전 최고 성능을 44% 능가하는 성능을 달성했...
LeJEPA Provable and Scalable Self-Supervised Learning Without the Heuristics
![[1-LeJEPA.png]]
Kosmos An AI Scientist for Autonomous Discovery
과학 연구는 직선적이지 않습니다. 일단 문헌을 뒤져 선행 연구를 찾아야죠. 틈새를 발견하고, 가설을 세우고, 데이터를 분석합니다. 그리고 다시 문헌으로 돌아갑니다. 훌륭하고 멋진 작업이죠. 정말, 정말 오래 걸린다는 점만 빼면요. 지난 몇 년간 LLM 기반의 AI 에이...
Context Engineering 2.0 - The Context of Context Engineering
> Hua, Q., Ye, L., Fu, D., Xiao, Y., Cai, X., Wu, Y., Lin, J., Wang, J., & Liu, P. (2025). Context Engineering 2.0: The Context of Context Engineering...
Kimi Linear An Expressive, Efficient Attention Architecture
> **Kimi Team et al., 2025** ([arXiv:2510.26692](http://arxiv.org/abs/2510.26692))
무분별, 저품질 논문과 싸우는 arXiv
지난 몇 년간 생성형 AI와 대규모 언어모델이 논문 작성 난이도를 크게 낮췄습니다. arXiv는 원래도 논문의 저품질 문제를 안고있었죠. 하지만 '빠른 논문'이 arXiv의 존재 이유인 만큼 좋은 논문을 찾는 것은 독자의 몫으로 돌리는 것에 모두가 암묵적으로 동의했습니...
Cursor 2.0과 Composer
![[1-cursor2.png]]
DeepSeek-OCR Contexts Optical Compression
대규모 언어 모델(LLM)이 긴 텍스트를 처리할 때 시퀀스 길이에 따라 연산량이 제곱으로 증가하는 문제가 있습니다. 이 논문은 흥미로운 질문을 던집니다. 텍스트를 이미지로 변환하면 더 효율적으로 압축할 수 있지 않을까요? 하나의 문서 이미지가 실제 텍스트 토큰보다 훨씬...
PDF 번역 혁신
PDF 번역이 쉬운 문제는 아닙니다. 파일 구조가 복잡해서 단순한 텍스트 복사-붙여넣기도 매끄럽게 잘 안 된다는 사실 다들 아실겁니다. 그리고 영어는 그나마 괜찮은데 요새 뛰어난 중국어 논문이 많아서 번역기가 절실합니다. 저는 외국어에 약해서 이런게 너무 필요했습니다....
Video models are zero-shot learners and reasoners
원래 자연어 처리 분야는 번역, 질의응답, 요약 등 각각의 작업마다 별도의 전용 모델이 필요했습니다. 불과 몇 년 전의 일입니다. 대규모 언어 모델의 출현으로 모든게 바뀌기 전이죠. 그 시작은 GPT-3였습니다. 이제는 하나의 범용 모델이 프롬프트만으로 다양한 언어 작...
아주 다양한 어텐션 매커니즘
옛날 옛적에 RNN이 살았습니다. 다들 알다시피 RNN은 시계열 분석이나 자연어 처리에 사용하는 딥러닝 모델입니다. 기억력이라는 것이 있었기 때문입니다. 하지만 RNN은 지난 이야기를 금방 잊어버리곤 합니다. 오래된 일은 절대로 기억을 못합니다. 이 문제를 해결하기 위...