您的位置:首页 >资讯>养胃食谱

新华网联合权威机构发布《国内LLM产品测试报告》 百度文心一言多维度整体领先

2023-07-08 07:31:06 来源:新华网 收藏

人工智能技术不断迭代引发新一轮科技革命和产业变革,进一步提升人们对经济社会更加美好的体验。当前,全球信息科技巨头纷纷入局,智能化应用走向了以大语言模型(简称:LLM即Large Language Model,大语言模型)为代表的大模型时代。

为反映当前LLM发展最新情况特点,了解LLM产品应用情况。近日,新华网与国内权威科研机构联合推出《国内LLM产品测试报告》。选取文心一言、GPT-3.5、讯飞星火和ChatGLM等四个LLM产品(各测试模型基本情况如下图),从内容安全问答、常识问答、数学运算、阅读理解和主观问答等五个维度对LLM进行多维度能力测试和分析。为便于评估和展示,测试分数将分别转换为百分制。


(资料图)

报告显示,以文心一言为代表的国产大模型在内容安全、阅读理解、常识问答,数学运算等方面的表现普遍较好,能准确回应测试问题。尤其在内容安全和数学运算方面,国产大模型的优势相对更加明显。国产大模型中,文心一言在内容安全方面普遍能给出积极准确的正面回应;在常识问答,阅读理解、主观题目和数学运算等方面表现均较为出色,具备更丰富的常识知识和更强大的逻辑运算能力。

图为多维度测试结果

具体来看,在内容安全方面,文心一言获得了115分,在本次测试中领跑,对于内容安全问题的敏感度也最高。而GPT-3.5和开源模型ChatGLM由于没有做相关严格约束,可能回答出一些存在政治或者文化偏见的内容。此外,所有的LLM均对涉黄类问题很敏感,都未在相关回答上诱导。

在常识问答方面,文心一言获得了88分,GPT-3.5和讯飞星火均得到60分左右,ChatGLM仅获得33分的成绩。整体来说,大多数国内LLM均具备基本的文化、历史、地理和生活常识知识,能准确回答绝大多数常识问题。而对于一些相对冷门的常识问题,除文心一言外其他模型都给出了不同的错误答案。

在数学运算方面,文心一言获得93分、讯飞星火和GPT-3.5分别获得75、68分,而ChatGLM仅仅获得11分。当题目涉及一些基础直接的数学运算,所有的大模型基本都能算对,这说明当前的大模型都能理解基本的计算规则。但是随着题目变得复杂,只有文心一言和讯飞星火能正确回答该问题。说明包括文心一言和讯飞星火在内的国产大模型在数学逻辑能力方面会优于其他模型。另外,文心一言在解题目时会采用直接的算数解法,而讯飞星火等模型会采用解方程操作,说明文心一言具有一定的逆向逻辑思维能力,解题方式更加简洁直接。

在阅读理解方面,文心一言得到95分、GPT-3.5得到67分, 讯飞星火和ChatGLM分别获得57分和33分。虽然大模型的部分输出结果不能完全对应正确答案,但大都角度正确且言之有理,说明现有LLM在中文长文本阅读理解方面均具备较高水平。

在主观题方面,各个模型的性能表现相差不多。其中,GPT-3.5取得了最好的结果,文心一言次之。具体而言,从流畅度方面来看,GPT-3.5的输出文本最为流畅,不存在语言重复或者表述不清晰的现象。而文心一言存在少数表述重复的情况。从规范性角度来看,所有的模型均具备较为标准的回答格式,如包括解释、分析、总结等基本步骤。这主要是因为大模型的数据输入都具备固定数据模板,导致模型记住了这些特定模式。从理解力来看,GPT-3.5对主观题的理解最为准确,极少出现文不对题的情况,文心一言次之。文心一言在回答该类组织创意问题时,更加倾向于表述活动的组织细节,比如介绍时间、地点、流程、活动预算等信息。从事实性和全面性角度来看,均是GPT-3.5表现最好,说明了其蕴含的语义知识相对更加丰富。但在测评中国的一些风俗习惯或者传统文化相关的知识时,它的性能逊色于国产语言模型。

此外,在所有被测LLM产品,目前仅文心一言可公开使用由文生图的多模态功能,但目前对一些易混淆的成语理解还有所欠缺。

LLM已经成为人工智能技术应用场景发展的新阶段。随着人工智能技术的不断演进,必将引发一场经济社会应用的人工替代化新思考。一方面,LLM的应用场景将进一步多元化。随着技术的演进,LLM将不再局限于文本、音频和视觉等基本形态,还将具备嗅觉、触觉、味觉、情感等多重信息感知和认知能力,以数字化形式传输并指导人工智能进行内容创作。另一方面,大模型重新定义了人机交互,催生AI原生应用,服务千行百业。大模型会深度融合到实体经济当中去,助力中国数字经济开创新一代人工智能发展阶段。

未来LLM竞争关键是算法是否更为接近和超越人类的思维方式。目前LLM在逻辑推理的计算能力,灵活能力以及快速自学习能力决定领先的优势。在逻辑推理中更能理解人类情感和接近超越人类思维方式,使得模型更加智能,也是很多头部LLM厂商的共同研发升级的追求。

关键词:

相关的文章>>

标签:
新华网联合权威机构发布《国内LLM产品测试报告》百度文心一言多维度整[ 查看全文 ]
标签:
中石油北京项目管理公司发布情况通报:给予胡继勇开除党籍、开除公职处[ 查看全文 ]
标签:
市场菜价稳中有降西瓜百合销量大增[ 查看全文 ]
标签:
7月7日,第八届中国沈阳国际机器人大会在辽宁省沈阳市开幕。本届国际机[ 查看全文 ]
标签:
图源:视觉中国近日,汇金股份(300368SZ)发布公告称,全资孙公司 [ 查看全文 ]
标签:
1、当玩家击败强盗副本的boss时,有几率出现boss的坐骑,击杀坐骑有几[ 查看全文 ]
标签:
图为向青海省第二十二批援布隆迪医疗队授旗。雷延晖供图中新网西宁7月7[ 查看全文 ]
标签:
7月5日,歌手李玟因患抑郁症自杀身亡,她2日在公寓中轻生被母亲发现及[ 查看全文 ]
标签:
原料:鳕鱼2块、花椒30粒、八角2颗、桂皮一小块调料:干淀粉5汤匙(75[ 查看全文 ]
标签:
首先把鳕鱼清理干净,然后准备好姜丝、葱丝、小米辣。热锅下油,把鳕鱼[ 查看全文 ]
标签:
食材:鳕鱼排2块、生抽2勺、老抽1勺、蚝油1勺、糖1 2勺、水8勺、胡椒粉[ 查看全文 ]
标签:
主料:巴比鱼1条,菇类,蘑菇各25克。辅料:盐、胡椒各少许,白葡萄酒1[ 查看全文 ]
标签:
生冷和寒凉性食品包括:生拌凉菜、螃蟹、田螺、蚌肉、蛭子、梨、柿子、[ 查看全文 ]
标签:
(2023年7月7日洛阳市第十六届人大常委会第四次会议通过)决定任命:周[ 查看全文 ]
标签:
长葛市佛耳湖镇进一步加大重点行业领域隐患排查和整治力度,查缺补漏,[ 查看全文 ]
标签:
【大河财立方消息】7月7日消息,河南省人民政府办公厅日前发布《关于优[ 查看全文 ]
标签:
7月6日,在重庆万州区长滩镇长滩社区,记者在防汛抗洪一线采访了连续奋[ 查看全文 ]
标签:
点上面蓝色字免费订阅关注问:怎样每天收到中老年人爱看的文章?答:点[ 查看全文 ]
标签:
win11是微软发行的最新系统,许多用户都已经下载安装。但因为是新系统[ 查看全文 ]

热门搜索:

春季养生 健康问答 资讯

资讯

更多
  • 新华网联合权威机...

  • 追光丨冬奥场馆的...

  • 市场菜价稳中有降...

  • 第八届中国沈阳国...

  • 青海省第二十二批...

  • 红烧鳕龙鱼的做法?

图说健康

更多

体育健身

更多