PC Health Check
Windows 电脑健康状况检查

AI21 Lab 推出了一种新的 LLM 架构 Mamba

AI21 Lab 推出了一种新的 LLM 架构 Mamba

AI21 Lab 推出了一种新的 LLM 架构 Mamba,同时发布的还有基于这个架构的模型 Jamba。模型将会开源。

Mamba是一款创新的结构化状态空间(SSM)模型,其设计目的是为了克服传统Transformer架构的限制,但它本身也存在一些不足。而Jamba则结合了这两种技术的优点。

Jamba模型的特点:

  • 首个基于创新SSM-Transformer混合架构的生产级Mamba模型
  • 与Mixtral 8x7B相比,在长文本上的吞吐量提高了3倍
  • 模型支持高达256K的大规模上下文窗口,使更多用户能够访问和使用
  • 是其大小类别中唯一一个能在单个GPU上适应高达140K上下文的模型
  • 以开放权重在Apache 2.0下发布
  • 可在Hugging Face上获取,并即将登陆NVIDIA API目录

dz94c000.webp

赞(0) 打赏
未经允许不得转载:PC Health Check » AI21 Lab 推出了一种新的 LLM 架构 Mamba

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏