您的位置:首页 >资讯>针灸养生

商汤大模型“商量”多个评测表现超ChatGPT,用户可申请试用

2023-06-22 14:05:15 来源:文汇网 收藏

商汤科技近日公布的自研中文语言大模型“商量SenseChat 2.0”在MMLU、AGIEval、C-Eval三个权威大语言模型评测基准的成绩。评测显示,“商量”在这三个测试集中的表现均领先ChatGPT,实现了我国语言大模型研究的突破。

目前,已有近千家企业客户通过申请,应用和体验“商量SenseChat 2.0”超强的长文本理解、逻辑推理、多轮对话、情感分析、内容创作、代码生成等综合能力,并且“商量SenseChat 2.0”还在服务客户过程中,持续实现着快速迭代和提升,以及知识的实时更新。


(相关资料图)

三大评测基准结果:“商量”综合能力超ChatGPT

商汤科技公布的评测结果中,选取了全球三大权威语言模型测评基准MMLU、AGIEval、C-Eval,结果显示“商量SenseChat 2.0”在三个测试集中表现均领先ChatGPT,部分已十分接近GPT4的水平。

l由美国加州大学伯克利分校等高校构建的多任务考试评测集MMLU;

l微软研究院推出的学科考试评测集AGIEval(含中国高考、司法考试及美国SAT、LSAT、GRE和GMAT等);

l由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集C-Eval;

MMLU是由美国加州大学伯克利分校、哥伦比亚大学、芝加哥大学及伊利诺伊大学厄巴纳-香槟分校联合打造的大规模多任务语言理解的评测基准,涵盖了科学、技术、工程、数据,人文、社会科学等领域的57个科目,难度从初级水平到高级专业水平,考验世界知识和解决问题的能力。

在该评测中,“商量SenseChat 2.0”综合得分为68.6,远超GLM-130B(45.7分)的得分,同时还超过了ChatGPT(67.3分)、LLaMA-65B(63.5分)仅落后GPT-4(86.4分),位居第二。在各主要子评测集中的表现如下:

图中粗体表示结果最佳,下划线表示结果第二

AGIEval是由微软研究院发布的,专门用于评估基础模型在人类认知和问题解决相关任务中表现出的一般能力,从而实现模型智能和人类智能的对比。该基准选取20 种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国SAT 考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。

在该评测中,“商量SenseChat 2.0”测出49.91的分数,遥遥领先GLM-130B(34.2分)、LLaMMA-65B(34.0分),并再次超越ChatGPT(42.9分),仅次于GPT-4的56.4分。在其中的AGIEval(GK)评测子集中,“商量SenseChat 2.0”以58.5分全面领先,仅微弱差距落后GPT-4(58.8分)。细分科目评测结果如下,其中带GK的是中国高考科目:

图中粗体表示结果最佳,下划线表示结果第二

C-Eval是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集,包含了13948个多项选择题,涵盖了52个不同的学科和四个难度级别。

面对C-Eval评测基准,“商量SenseChat 2.0”拿到了66.1的分数,在参评的18个大模型中,仅次于GPT-4(68.7分),全面领先ChatGPT、Claude、Bloom、GLM-130B、LLaMA-65B等一众海内外大模型。其中,C-Eval(Hard)子评测集,是选择了8个具有挑战性的数据、物理和化学科目,进一步考核大语言模型的推理能力,“商量SenseChat 2.0”也表现居于前列。

图:最新C-Eval排行榜

(来源:https://cevalbenchmark.com/static/leaderboard.html)

技术创新+客户落地,推动“商量”能力快速持续提升

今年4月,商汤正式发布“商汤日日新SenseNova”大模型体系,以及自研中文语言大模型“商量SenseChat”。截至6月,全球范围内正式发布的大语言模型已超过40款,其中由中国厂商、高校、科研院所等发布的大语言模型近20款。

在“百花齐放”的市场格局中,通过对比成绩与表现,我们可以了解各大预言模型的特点与差异,并且直观地了解每个大语言模型当前的智能水平。目前“商量SenseChat 2.0”实现了对GPT-3.5超越,并且随着商业化落地的推进,在众多行业、场景中发挥令人满意的作用。

例如在需要大量文案工作的场景中,“商量SenseChat 2.0”可以协助处理各类文章、报告、信函、产品信息、IT信息等,进行编辑、重写、总结、分类、提取信息、制作Q&A等,有效提高企业员工的生产效率。在客户服务场景中,“商量SenseChat 2.0”还可以扮演许多不同的企业角色,如银行客服、给孩子讲故事的绘本老师等等,并进行顺畅的交流和互动,提升客户体验。

此外,“商量SenseChat 2.0”还拥有广泛的知识储备,能够结合企业自身所在行业的专有数据,非常高效地打造满足企业需要的高阶知识库,帮助实现更智能化的知识库管理。“商量SenseChat 2.0”还是高水平的AI代码助手,能够极大帮助提高开发效率,实现新的二八定律,即80%的代码由AI生成,20%则由人工生成。

商汤大语言模型能力的提升源于更多高质量中文数据的训练学习,得益于团队在底层大模型技术上的不断创新。商汤团队在训练阶段采用自研的一系列增强复杂推理能力的方法,以及更加有效的反馈学习机制,让大模型增强推理能力的同时,减轻了传统大模型的幻觉问题。

想申请试用“商量SenseChat 2.0”的用户,可登录:

https://lm_experience.sensetime.com/document/authentication

作者:沈湫莎

责任编辑:任荃

关键词:

相关的文章>>

标签:
商汤科技近日公布的自研中文语言大模型“商量SenseChat2 0”在MMLU、AG[ 查看全文 ]
标签:
交汇点讯记者从中国铁路上海局集团有限公司获悉,6月21日客发293 5万人[ 查看全文 ]
标签:
1、用软键盘打出箭头符号。右键输入法→软键盘→特殊符号,在特殊符号[ 查看全文 ]
标签:
东方网记者熊芳雨6月22日报道:上海市第一届职业技能大赛闭幕式昨日(2[ 查看全文 ]
标签:
中国游泳存在一个有趣的现象,大多数选手都是在某一届奥运会或世锦赛昙[ 查看全文 ]
标签:
近日,市场监管总局印发《盲盒经营行为规范指引(试行)》,标志着盲盒行[ 查看全文 ]
标签:
6月21日,*ST泛海(000046 SZ,泛海控股)发布公告称,公司涉连续十二[ 查看全文 ]
标签:
真正能让自己进步的,从来不是自己听过的大道理,而是通过自律培养出的[ 查看全文 ]
标签:
其实不仅是对于裙装的领部要着重考虑,很多上衣的领部设计对脸型也会[ 查看全文 ]
标签:
对一件跨度几十年的事情来说,落后2~3年并不重要[ 查看全文 ]
标签:
6月22日,菲律宾火山地震研究所发布消息称,从21日上午5时到22日上午5[ 查看全文 ]
标签:
又是一年端午佳节,吃着咸香可口的咸粽,抑或是软糯香甜的甜粽,再规划[ 查看全文 ]
标签:
本周就是端午小长假啦!2023年端午节6月22日至24日放假调休,共3天,端[ 查看全文 ]
标签:
西溪慢生活街被绚丽多彩的龙舟花灯照亮。西溪湿地管理局供图西溪慢生活[ 查看全文 ]
标签:
您好,现在蔡蔡来为大家解答以上的问题。轴承型号查询系统价格,轴承型[ 查看全文 ]
标签:
1、在MIUI12 5 3操作系统中,可以通过拨号键盘输入* 86583 *来开启或[ 查看全文 ]
标签:
图片来源:图虫尽管市场信心低迷,但是浙江杭州地产富豪施中安并没有放[ 查看全文 ]
标签:
预计将于今年9月开业的上海龙华会再次传出重磅消息。日前,记者在印力[ 查看全文 ]
标签:
急需用钱的时候,大家可以在手机上下载一个贷款平台,借上一笔款项来解[ 查看全文 ]

热门标签

热门搜索:

春季养生 健康问答 资讯

资讯

更多
  • 商汤大模型“商量...

  • 世界快看点丨端午...

  • 箭头符号怎么打 ...

  • 全球看点:各部门...

  • 131名选手获得金牌...

  • 真正改变人生的,...

图说健康

更多

体育健身

更多