DBRX
DBRX는 데이터브릭스의 자회사인 모자이크가 개발하여 2024년 3월 27일에 공개한 오픈 소스 대형 언어 모델 (LLM)이다.[1][2][3] 총 1320억 개의 매개변수를 가진 전문가 혼합 트랜스포머 모델이다. 각 토큰에 대해 360억 개의 매개변수 (16개 전문가 중 4개)가 활성화된다.[4] 공개된 모델은 기본 파운데이션 모델 버전 또는 명령어 튜닝된 변형으로 제공된다.[5]
 위키백과를 설명하는 DBRX의 스크린샷 | |
| 개발자 | 모자이크 ML 및 데이터브릭스 팀 |
|---|---|
| 발표일 | 2024년 3월 27일 |
| 저장소 | https://github.com/databricks/dbrx |
| 라이선스 | Databricks Open License |
| 웹사이트 | https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm |
DBRX는 출시 당시 언어 이해, 프로그래밍 능력, 수학 등 여러 벤치마크에서 메타의 LLaMA, 미스트랄 AI의 Mixtral, xAI의 Grok과 같은 다른 주요 오픈 소스 모델들을 능가했다.[4][6][7]
이 모델은 3.2테라바이트/초 대역폭(인피니밴드)으로 연결된 3,072대의 엔비디아 H100에서 2.5개월[7] 동안 1천만 달러의 훈련 비용으로 훈련되었다.[1]
각주
편집- 1 2 “Introducing DBRX: A New State-of-the-Art Open LLM” (미국 영어). 《Databricks》. 2024년 3월 27일. 2024년 3월 28일에 확인함.
- ↑ “New Databricks open source LLM targets custom development | TechTarget” (영어). 《Business Analytics》. 2024년 3월 28일에 확인함.
- ↑ Ghoshal, Anirban (2024년 3월 27일). “Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok” (영어). 《InfoWorld》. 2024년 3월 28일에 확인함.
- 1 2 “A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores”. 《GIZMOCHINA》. 2024년 3월 28일.
- ↑ Wiggers, Kyle (2024년 3월 27일). “Databricks spent $10M on new DBRX generative AI model” (미국 영어). 《TechCrunch》. 2024년 3월 29일에 확인함.
- ↑ “Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out..” (영어). 《매일경제신문》. 2024년 3월 28일. 2024년 3월 28일에 확인함.
- 1 2 Knight, Will. “Inside the Creation of the World's Most Powerful Open Source AI Model” (미국 영어). 《Wired》. ISSN 1059-1028. 2024년 3월 28일에 확인함.