您的位置:首页 >栏目首页 > 财讯 >

世界快资讯:MosaicML 推出 300 亿参数模型MPT-30B,号称成本仅为竞品零头


(资料图)

IT之家 6 月 25 日消息,AI 创业公司 MosaicML 近日发布了其语言模型 MPT-30B,该模型具有 300 亿参数,训练成本“仅有其他同类竞品模型的零头”,有望促进行业逐步降低此类模型训练成本,扩大 AI 模型在更广泛领域的运用。

▲ 图源 MosaicML

MosaicML 公司的首席执行官兼联合创始人 Naveen Rao 表示,MPT-30B 的训练成本为 70 万美元(约 502.44 万元人民币),远低于 GPT-3 等同类产品所需的数千万美元训练成本。此外,由于 MPT-30B 的成本较低,体积较小,它也可以更快速地被训练,并且更适合部署在本地硬件上。

据悉,MosaicML 使用了 Alibi 和 FlashAttention 技术来优化模型,可以实现更长的文本长度和对 GPU 计算的更高利用率。MosaicML 也是少数几个能够使用 Nvidia H100 GPU 的实验室,相比以往成果,当下每块 GPU 的吞吐量增加了 2.4 倍以上,可带来更快的完成时间。

除了让 AI 技术更容易获得之外,MosaicML 还专注于提高数据质量并提高模型性能。他们目前正在开发一款工具,可以帮助用户在预训练过程中分层加入特定领域的数据,以确保训练中开业实现多样化和高质量的数据组合。

MosaicML 公司表示,将模型扩展到 300 亿参数只是第一步,接下来他们将以降低成本为前提,推出体积更大、质量更高的模型。

IT之家注意到,目前开发者可以从 Hugging Face 下载并使用开源的 MPT-30B 基础模型,开发者还可以在本地硬件上使用自己的数据,对模型进行微调。

关键词:
最新动态
相关文章
世界快资讯:MosaicML 推出 300 亿参...
“消”疾“化”病 如何拯救脆弱肠胃?...
世界资讯:看丹观察丨医院不让家属陪护...
【世界新要闻】ipad免费观影神器app(ip...
由于芯片需求疲软 三星芯片业务、SK海...
每日速看![浦东]海大附中:韶光如水 壮...