英伟达新研究：上下文长度虚标严重，32K性能合格的都不多
英伟达最近的研究揭示了长上下文大模型存在虚标现象，涉及包括GPT-4在内的10个知名模型。这些模型宣称能处理128K乃至1M的上下文长度，但在英伟达设计的新指标“有效上下文”测试下，能维持32K有效长度的模型已显稀缺。这一新基准名为RULER，它通过检索、多跳追踪、聚合及问答四类共13项任务，评估模型处理长文本的真实能力，确保关注点在于模型的理解而非单纯的信息回忆。英伟达新研究：上下文长度虚标严重，32K性能合格的都不多。
RULER基准的独特之处在于减少了对模型预存“参数化知识”的依赖，增强了评测的公平性和完整性。例如，它不仅升级了传统的单一检索任务，还引入了多针检索、多值检索、多查询检索等复杂情景，以及模拟指代消解的变量追踪、词汇提取和抗干扰的长序列问答等挑战，全方位检验模型的长文本处理实力。
实验涵盖了从6B至8x7B参数规模不等的10个模型，包括GPT-4及其他开源模型如Command-R、Yi-34B等，最大上下文长度跨度从32K至1M。在RULER的严格测试下，融易新媒体消息，尽管多数模型在其标称的长上下文范围内表现出色，但深入分析发现，仅Mixtral模型能在其声明的长度上持续超越基线性能。GPT-4在4K长度下展现出最佳性能，且在扩展至128K时性能下降最少。开源模型中，Command-R、Yi-34B及Mixtral因采用较大RoPE基频和更多参数，表现突出。
进一步的研究还探索了输入长度、任务复杂度对模型表现的影响，以及模型大小、架构对长上下文处理能力的作用。结果显示，增大训练上下文通常提升性能，但效果不恒定；模型规模扩大显著有利于长文本理解；非Transformer架构模型在此类任务上表现不及基于Transformer的模型。
对于那些渴望深入了解模型长文本处理能力局限及优化方向的研究者而言，英伟达的这项研究无疑提供了宝贵的洞见和实证基础。
俞敏洪最新发声，东方甄选突然暴跌 6月3日，东方甄选股价下滑超过10%，每股报16.5港元，交易...
2 英伟达新研究：上下文长度虚标严重，32K性能合格的都不多英伟达新研究：上下文长度虚标严重，32K性能合格的都不多 英伟达最近的研究揭示了长上下文...
3 深蓝汽车找网友借流量宠粉 亿级梦想基金待瓜分深蓝汽车找网友借流量宠粉 互联网企业涌入汽车制造领域，使得行业内对流量的争夺日益白热...
4 女子过检查站向货车司机要了根大葱！女子过检查站向货车司机要了根大葱 其实快乐非常简单， 不经意的一个玩笑收获了意外的惊喜...
5 端午要“泡汤”？新的一周宁波气温或上演“过山车”端午要“泡汤”？新的一周宁波气温或上演“过山车” 端午假期即将到来，但天气似乎并不平...
6 港风少女提了第十万台smart 薛凯琪驾到，新奢生活启程港风少女提了第十万台smart 全新smart精灵#5概念车在粤港澳大湾区首次亮相，继北京车展全球首...
7 俄罗斯转移车臣特种部队至哈尔科夫前线俄罗斯转移车臣特种部队 6月3日，俄罗斯车臣地区的“艾哈迈德”特种部队宣布其调动情况，...
8 王妈不正之风T恤已下架 荒野文化致歉引争议王妈不正之风T恤已下架 近期，网络红人“王妈”与其所属的荒野文化公司卷入了“背叛员工”...
9 张玉宁、阿兰火线复出 国足攻击力完整提升张玉宁、阿兰火线复出 6月3日的消息称，张玉宁、阿兰、李帅和王上源四位球员近期已重返国...
10 以军军事行动减弱 谈判预期增强 前景不明朗以军军事行动减弱 谈判预期增强 6月2日，以色列总理内塔尼亚胡的首席外交顾问奥菲尔·福尔...
俞敏洪最新发声，东方甄选突然暴跌 6月3日，东方甄选股价下滑超过10%，每股报16.5港元，交易...
2 英伟达新研究：上下文长度虚标严重，32K性能合格的都不多英伟达新研究：上下文长度虚标严重，32K性能合格的都不多 英伟达最近的研究揭示了长上下文...
3 深蓝汽车找网友借流量宠粉 亿级梦想基金待瓜分深蓝汽车找网友借流量宠粉 互联网企业涌入汽车制造领域，使得行业内对流量的争夺日益白热...
4 女子过检查站向货车司机要了根大葱！女子过检查站向货车司机要了根大葱 其实快乐非常简单， 不经意的一个玩笑收获了意外的惊喜...
5 端午要“泡汤”？新的一周宁波气温或上演“过山车”端午要“泡汤”？新的一周宁波气温或上演“过山车” 端午假期即将到来，但天气似乎并不平...
6 港风少女提了第十万台smart 薛凯琪驾到，新奢生活启程港风少女提了第十万台smart 全新smart精灵#5概念车在粤港澳大湾区首次亮相，继北京车展全球首...
7 俄罗斯转移车臣特种部队至哈尔科夫前线俄罗斯转移车臣特种部队 6月3日，俄罗斯车臣地区的“艾哈迈德”特种部队宣布其调动情况，...
8 王妈不正之风T恤已下架 荒野文化致歉引争议王妈不正之风T恤已下架 近期，网络红人“王妈”与其所属的荒野文化公司卷入了“背叛员工”...
9 张玉宁、阿兰火线复出 国足攻击力完整提升张玉宁、阿兰火线复出 6月3日的消息称，张玉宁、阿兰、李帅和王上源四位球员近期已重返国...
10 以军军事行动减弱 谈判预期增强 前景不明朗以军军事行动减弱 谈判预期增强 6月2日，以色列总理内塔尼亚胡的首席外交顾问奥菲尔·福尔...
备案号：鄂ICP备2022006215号 Copyright © 2002-2022 关于我们 网站地图
俞敏洪最新发声，东方甄选突然暴跌 直播带货路在何方？ 
港风少女提了第十万台smart 薛凯琪驾到，新奢生活启程 
以军军事行动减弱 谈判预期增强 前景不明朗 
北京市消协发布“六一”消费提示：安全健康很重要 儿童消费需 0
国有行3季度每千万个人客户投诉量:交行第一中行第二 0
每天最新新闻： 浙商基金高管震荡后连亏两年 "万向系"接手难振 0
报告：2月份中国游戏市场收入248.75亿元 同比增15.12% 0
浙江农米生物科技有限公司通过SC认证审核 0