您的位置:首页 >资讯>少儿健康

MosaicML 推出 300 亿参数模型,训练成本 70 万

2023-06-25 02:52:40 来源:OSCHINA 收藏


(相关资料图)

AI 创业公司 MosaicML 近日发布了其语言模型 MPT-30B,单从参数来看,这个模型具有 300 亿参数,放在如今动则上千亿参数的模型领域中并没有什么突出的地方。但这个新模型的训练成本却只有其他模型的零头,有望扩大模型在更广泛领域的运用。

MosaicML 的首席执行官兼联合创始人 Naveen Rao 表示,MPT-30B 的训练成本为 70 万美元,远低于训练 GPT-3 所需的数千万美元。此外,MPT-30B 模型的质量超过了 OpenAI 在 2020 年发布的初版 GPT-3。由于 MPT-30B 的成本较低,体积较小,它也可以更快速地被训练,并部署在本地硬件设备上。

MosaicML 使用了 Alibi 和 FlashAttention 技术来优化模型,可以实现更长的文本长度和对 GPU 计算的高利用率。MosaicML 也是少数几个能够使用 Nvidia H100 GPU 的实验室,相比以往,这使得每 GPU 的吞吐量增加了 2.4 倍以上,带来更快的完成时间。

300 亿参数这是一个在大模型领域经常看到的数字,300 亿参数为什么这么特殊呢?MosaicML 首席科学家 Frankle 则解释道,首先 300 亿参数能够确保它可以在本地硬件上轻松运行,同时保持质量与 GPT-3 差不多或略优于它。

其次任何超过 300 亿参数限制的模型都需要将模型分解成多个平行段,通常也需要更加昂贵的多 GPU 设置。

除了让 AI 技术更容易获得之外,MosaicML 还专注于提高数据质量,以提高模型性能。他们目前正在开发工具,帮助用户在预训练过程中分层加入特定领域的数据。这确保了多样化和高质量的数据组合。将模型扩展到 300 亿参数只是 MosaicML 的第一步,接下来他们将以降低成本为前提,推出更大的、更高质量的模型。

开发者可以从 Hugging Face 下载并使用开源的 MPT-30B 基础模型,开发者还可以在自己的硬件上用自己的数据对模型进行微调。

关键词:

相关的文章>>

标签:
AI创业公司MosaicML近日发布了其语言模型MPT-30B,单从参数来看,这个[ 查看全文 ]
标签:
鉴于目前面对的挑战,领地控股表示,目前正考虑整体解决方案,以全体持[ 查看全文 ]
标签:
河北省气象台2023年6月24日5时继续发布高温红色预警信号:预计今天白天[ 查看全文 ]
标签:
人都有生老病死,谁都不能例外,当我们的朋友父亲去世了,作为他的朋友[ 查看全文 ]
标签:
▲瞿颖在《乘风2[ 查看全文 ]
标签:
南宁云—南宁晚报讯(记者赵敏通讯员吴姚林党莉陈学宗)6月22日,随着[ 查看全文 ]
标签:
北京时间6月24日,国际乒联WTT突尼斯挑战赛正在进行。正在进行的是男单[ 查看全文 ]
标签:
新一轮强降雨滚滚来袭,暴雨大雨分布在下列地区,6月24号天气预报今天[ 查看全文 ]
标签:
中考在即,目前,许多考生家长已将主要精力转移到怎样为孩子选择一所理[ 查看全文 ]
标签:
2023年6月24日上午,黑龙江省招生考试委员会召开全体委员会议,听取202[ 查看全文 ]
标签:
近日,全国迎来持久高温“烤验”,许多人选择“宅”在家中点外卖,外卖[ 查看全文 ]
标签:
1、古典小说水浒传中的故事。2、章节名称:鲁提辖拳打镇关西。本文到此[ 查看全文 ]
标签:
手工制作简易家式风筝工具 原料:报纸、竹丝、小刀、胶布、细线手工制[ 查看全文 ]
标签:
家里的金针菇已经买了有10天了,这样的金针菇还能不能继续吃呢?日常生[ 查看全文 ]
标签:
6月23日,国家市场监督管理总局在银川市召开市场监管领域安全生产工作[ 查看全文 ]
标签:
为了切实做好端午节期间防汛防涝工作部署,市城综局组织开展了多形式的[ 查看全文 ]
标签:
知名美媒ESPN今日晒出灰熊队下赛季的潜在首发和替补轮换,并向球迷发问[ 查看全文 ]
标签:
1、在《夏至未至》中,在人物特辑中,扮演者郑合惠子所说,颜末是一个[ 查看全文 ]
标签:
手工制作简易家式风筝工具 原料:报纸、竹丝、小刀、胶布、细线手工制[ 查看全文 ]
标签:
大象新闻记者刘园园视频报道6月23日,河南洛阳。在伊川县一公园里,一[ 查看全文 ]

热门标签

热门搜索:

春季养生 健康问答 资讯

资讯

更多
  • MosaicML 推出 3...

  • 领地控股2022年已...

  • 快资讯:河北发布...

  • 每日消息!好朋友的...

  • 瞿颖 我不想让自...

  • 头号种子0:3出局...

图说健康

更多

体育健身

更多