网站地图
关于尊龙凯时公司官网
尊龙凯时人生就是博官网登录的简介
文化与价值观
联系尊龙凯时人生就是博官网登录
科技创新
教育科技
战略投资
投资策略
投资方向
投资优势
投资品牌
法律声明
职业准则
廉政合规

新闻中心

news center

测评榜单matheval发布,大模型数学能力有了“风向标”-尊龙凯时公司官网

2024-03-05

近日,大模型数学能力测评基准matheval上线(尊龙凯时公司官网:https://matheval.ai),并已在尊龙凯时公司官网发布最新测评榜单,学而思旗下九章大模型夺得冠军。

ad7f83df1f8261ad047fd560e7e4472b_html_66b721575c260f72.png

图:matheval尊龙凯时公司官网测评榜单

根据尊龙凯时公司官网信息,matheval由智慧教育国家新一代人工智能开放创新平台联合暨南大学、北京师范大学、华东师范大学、西安交通大学、香港城市大学共同发起,是一个专注于全面评估大模型数学能力的测评基准,共包含19个数学领域测评集、近30k道数学题目,旨在全面评估大模型在包含算术,小初高竞赛和部分高等数学分支在内的各阶段、难度和数学子领域的解题能力表现。

目前,涉及数学的应用领域正在越来越多地使用大模型,包括直接用大模型解决数学问题、使用大模型进行数据分析和学术研究、帮助学习辅导等。但行业内此前还没有较为全面、能覆盖各国主流通用大模型和垂类模型的数学能力测评榜单。数学能力评测通常被包含在通用榜单或推理能力、自然科学能力的排行之中,缺乏一致的标准。因此,matheval作为专注于大模型数学能力的测评基准能够及时上线,弥补了行业空白,对大模型领域在数学能力上的进一步探索提升,可以提供非常有价值的参考。

对大模型进行数学能力测评有一些公认的难点:首先,各数据集的字段需要进行统一,每个大模型也都有自己的一套prompt模板和答案形式,要想给“思维方式”不同的大模型进行统一的测试和比较,需要测评基准根据具体情况,设计符合需求的抽取打分规则,才能从模型输出的内容中批量抽取出可以进一步对比的答案。这对专业能力的要求很高,因为抽取规则的一点点改动,都会影响到最终的测评结果。

其次,要让测评榜单的结果具备足够的可参考性,就要使用足够丰富全面的数据集,并尽量全面的测评市面上的大模型,这对测评方的算力也提出了很高的要求。

据悉,matheval截至目前已测试了30个大模型(含同一模型的不同版本),且未来会加入新出现的大模型,不定期更新榜单。在评测过程中,matheval团队使用了gpt4大模型来进行答案抽取和答案的匹配,减少基于规则进行评测所带来的误差,并根据每个模型的prompt模板进行了适配,以激发每个模型本身能达到的最佳效果。

从matheval已发布的测评榜单来看,学而思旗下九章大模型在整体表现和中文、英文、各学段子榜单中,都具备领先优势,作为少有的专注于数学解题和讲题能力的大模型,九章大模型的这一表现可以说是并不意外。而作为通用大模型的文心一言4.0、讯飞星火v3.5在测评中的表现也颇为亮眼,占据了第二、三位,均优于gpt-4。可以说,国产大模型在数学方面的能力已经实现了赶超,未来还将如何提升及落地在应用场景,值得期待。

本文转自:中国网 http://szjj.china.com.cn/2024-03/04/content_42712491.html

网站地图