Databricks 发布了新的可能是现在最强的开源模型 DBRX
Databricks 发布了新的可能是现在最强的开源模型 DBRX 模型架构: 132B参数的MoE模型,一共拥有16个专家,每个Token激活4个专家,意味着有36B的活跃参数,Mixtral只有13B的活跃参数(少了近3倍)。 性能表现...
Databricks 发布了新的可能是现在最强的开源模型 DBRX 模型架构: 132B参数的MoE模型,一共拥有16个专家,每个Token激活4个专家,意味着有36B的活跃参数,Mixtral只有13B的活跃参数(少了近3倍)。 性能表现...