MBZUAI

🏷️ LLM 오픈소스

아부다비에 있는 대학원 중심 AI 전문 대학입니다. 2019년 설립됐고 학부 과정 없이 석·박사만 운영합니다. 에릭 싱이 2020년 말부터 총장을 맡고 있습니다.

산하에 Institute of Foundation Models(IFM)를 두고 있습니다. 실리콘밸리 랩 디렉터는 류정중이며, 가중치뿐 아니라 중간 체크포인트와 학습 데이터·코드까지 공개하는 LLM360 노선과 K2 시리즈가 여기서 나왔습니다.

Unlocking Lossless Speedups in LLMs via Discrete Diffusion의 Uno 모델도 IFM 소속으로 발표됐습니다. 자체 데이터 23조 토큰으로 8B급 AR 모델을 처음부터 학습할 컴퓨트를 굴린다는 점에서, 논문만 내는 대학이 아니라 프런티어 학습을 직접 하는 조직입니다.