参数减至80亿个!英伟达推出缩小版语言模型

人工智能 网络 Andy 2024-08-22 17:42

英伟达宣布推出Mistral-NeMo-Minitron 8B模型,这是此前发表的Mistral NeMo 12B模型的缩小版,除了精确度高,也具备在GPU加速的数据中心、云端与工作站上运行模型的运算效率。

Mistral-NeMo-Minitron 8B模型关键点:

模型规模:Mistral-NeMo-Minitron 8B 模型拥有80亿个参数,比原始的 Mistral NeMo 12B 模型减少了40亿个参数。

运行环境:这个模型可以在 NVIDIA RTX 驱动的工作站上运行,这使得它更加易于部署和使用。

性能:尽管模型规模缩小,但在 AI 支持的聊天机器人、虚拟助理、内容生成器和教育工具等多个基准测试中,其表现依然出色。

技术手段:英伟达采用了剪枝技术来减少模型的参数数量,同时通过蒸馏技术来保持或提高模型的精确度。

成本与效率:Mistral-NeMo-Minitron 8B 模型的运算成本较低,同时提供了与原始模型相媲美的精确度,这使得它在成本、运作效率和能源使用方面具有优势。

安全性:由于可以在边缘设备上以本机端的方式运行,减少了数据传输的需要,从而提高了安全性。

灵活性:英伟达提供了模型下载,允许开发人员针对特定应用使用 AI Foundry 进行剪枝和蒸馏,以创建更小且更优的神经网络。

应用场景:这个模型适用于资源有限的组织,以及需要在智能手机或机器人等嵌入式设备上运行的场景。

总的来说,Mistral-NeMo-Minitron 8B 模型的推出,为生成式 AI 功能在各种设备和环境中的部署提供了更多可能性,同时也推动了 AI 技术的普及和应用。

推荐:电脑用的少,手机扫一扫,资讯快一步!

扫码关注我们

简讯快报

更多
⊙11小时前 15:43

因LPDDR4X市场需求持续萎靡,存储厂商实际出货遇阻,导致对资源的采购节奏也有所减缓,在存储厂商资源购买力减弱的拖累下,近期国产LPDDR4X Wafer及颗粒价格均出现下滑,尤其8GB LPDDR4X资源价格自上月以来已连续出现下跌。从成本端来看,资源价格回落虽有助于适度降低采购成本,但当前时间逼近季末后半段,终端客户普遍管控库存,整体备货需求十分低迷。本周4GB/8GB  LPDDR4X价格小幅下调。eMMC方面,10月份以来,个别存储厂商持续激进杀价,部分供应链包括代理、经销商、贸易商不计亏损也被动跟跌以加快周转,但下游客户普遍处于库存高企的状态,甚至个别客户作为昔日的采购方为降低库存水位、疏通现金流,反向通过渠道市场释放此前囤积的库存。随着低价eMMC货源不断增多,贸易价仍在持续下探且尚未止跌,存储厂商同容量eMMC产品官价与贸易价的差距进一步加大,本周多数eMMC产品价格继续下修,相应的,集成式eMCP、uMCP价格跟随调整。

LPDDR:LPDDR4X 64Gb 跌 2.22% 至 $88.00,LPDDR4X 32Gb 跌 3.33% 至 $58.00;

eMMC:eMMC 8GB 5.1 跌 3.03% 至 $16.00,eMMC 16GB 5.1 跌 2.86% 至 $17.00,eMMC 32GB 5.1 跌 2.78% 至 $17.50,eMMC 64GB 5.1 跌 2.78% 至 $17.50,eMMC 128GB 5.1 跌 7.14% 至 $26.00,eMMC 256GB 5.1 跌 7.62% 至 $48.50;

eMCP:eMCP(eMMC + LPDDR4X)64GB+32Gb 跌 8.48% 至 $75.50,eMCP(eMMC + LPDDR4X)128GB+32Gb 跌 5.62% 至 $84.00,eMCP(eMMC + LPDDR4X)128GB+48Gb 跌 5.71% 至 $99.00;

uMCP:uMCP(LPDDR4X + UFS2.2)6GB+128GB 跌 0.93% 至 $106.00,uMCP(LPDDR4X + UFS2.2)8GB+128GB 跌 6.20% 至 $121.00,uMCP(LPDDR4X + UFS2.2)8GB+256GB 跌 5.13% 至 $148.00。