PC Health CheckDatabricks 发布了新的可能是现在最强的开源模型 DBRX
模型架构：
132B参数的MoE模型，一共拥有16个专家，每个Token激活4个专家，意味着有36B的活跃参数，Mixtral只有13B的活跃参数（少了近3倍）。
性能表现 ：
它在语言理解、编程、数学和逻辑方面轻松击败了开源模型，如 LLaMA2-70B、Mixtral 和 Grok-1
DBRX 在大多数基准测试中超过了 GPT-3.5。
DBRX 是基于 MegaBlocks 研究和开源项目构建的专家混合模型（MoE），使得该模型在每秒处理的标记数量方面非常快速。
数据训练：
以12万亿Token的文本和代码进行预训练，支持的最大上下文长度为32k Tokens。
