The Dragon Hatchling

아드리안 코소프스키가 이끄는 Pathway가 2025년 9월 arXiv:2509.26507로 공개한 시퀀스 모델 아키텍처입니다. 약칭은 BDH입니다.

GPU용 구현은 ReLU 저랭크 변환과 선형 어텐션을 큰 뉴런 공간에서 결합한 BDH 레이어를 씁니다. 설계는 뇌에서 영감을 받았지만 뇌를 모사하지는 않습니다. 국소 상호작용, 희소 활성, 지속 상태, 지속적 조정이라는 네 가지 원리만 가져왔습니다.

BDH는 아키텍처 계열의 이름입니다. Pathway는 이 위에 스도쿠 제약 충족 시스템을 올렸고, 이어서 시연으로 새 과제를 배우는 추론 시스템 BDH-CQ를 만들었습니다. 문맥 연상을 명시적 키-밸류 캐시 대신 순환 상태 \(S_t\)의 갱신으로 처리한다는 점이 트랜스포머와 갈라지는 지점입니다.