当前位置：主页 > 热点 > 社会 > 英伟达新研究：上下文长度虚标严重，32K性能合格的都不多【图文】

英伟达新研究：上下文长度虚标严重，32K性能合格的都不多【图文】

2024-06-04 20:13:38来源：互联网

文章导读
英伟达新研究：上下文长度虚标严重，32K性能合格的都不多 英伟达最近的研究揭示了长上下文大模型存在虚标现象，涉及包括GPT-4在内的10个知名模型。这些模型宣称能处理128K乃至1M的上下文...

英伟达新研究：上下文长度虚标严重，32K性能合格的都不多

英伟达最近的研究揭示了长上下文大模型存在虚标现象，涉及包括GPT-4在内的10个知名模型。这些模型宣称能处理128K乃至1M的上下文长度，但在英伟达设计的新指标“有效上下文”测试下，能维持32K有效长度的模型已显稀缺。这一新基准名为RULER，它通过检索、多跳追踪、聚合及问答四类共13项任务，评估模型处理长文本的真实能力，确保关注点在于模型的理解而非单纯的信息回忆。英伟达新研究：上下文长度虚标严重，32K性能合格的都不多。

RULER基准的独特之处在于减少了对模型预存“参数化知识”的依赖，增强了评测的公平性和完整性。例如，它不仅升级了传统的单一检索任务，还引入了多针检索、多值检索、多查询检索等复杂情景，以及模拟指代消解的变量追踪、词汇提取和抗干扰的长序列问答等挑战，全方位检验模型的长文本处理实力。

实验涵盖了从6B至8x7B参数规模不等的10个模型，包括GPT-4及其他开源模型如Command-R、Yi-34B等，最大上下文长度跨度从32K至1M。在RULER的严格测试下，尽管多数模型在其标称的长上下文范围内表现出色，但深入分析发现，融易新媒体消息，仅Mixtral模型能在其声明的长度上持续超越基线性能。GPT-4在4K长度下展现出最佳性能，且在扩展至128K时性能下降最少。开源模型中，Command-R、Yi-34B及Mixtral因采用较大RoPE基频和更多参数，表现突出。

进一步的研究还探索了输入长度、任务复杂度对模型表现的影响，以及模型大小、架构对长上下文处理能力的作用。结果显示，增大训练上下文通常提升性能，但效果不恒定；模型规模扩大显著有利于长文本理解；非Transformer架构模型在此类任务上表现不及基于Transformer的模型。

对于那些渴望深入了解模型长文本处理能力局限及优化方向的研究者而言，英伟达的这项研究无疑提供了宝贵的洞见和实证基础。


免责声明
融易新媒体转载此文目的在于传递更多信息，不代表本网的观点和立场。文章内容仅供参考，不构成投资建议。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。
上一篇：英媒：特朗普遭定罪后动摇选民支持，共和党选民现分歧【图文】
返回首页 返回栏目
下一篇：戚薇录乘风十天没理李承铉 50亿诱惑考验真爱【图文】
头条资讯
戚薇录乘风十天没理李承铉 50亿诱惑考验真爱【图文】
英伟达新研究：上下文长度虚标严重，32K性能合格的都不多【图 英媒：特朗普遭定罪后动摇选民支持，共和党选民现分歧【图文 知道为什么洪世贤认不出品如了 张小斐短发造型引热议【图文】 以军军事行动减弱 谈判预期增强 前景不明朗【图文】
共享单车儿童座椅有多危险 家庭出行的隐形风险【图文】
周星驰首部短剧抖音独家播出 《金猪玉叶 詹姆斯为啥非要一个新手当主帅？背后玄 吴谨言演技爆棚网友盛赞“演技派新星” 樊振东4-3王楚钦夺冠 激烈对决落幕【图文
樊振东4-3王楚钦夺冠 激烈对决落幕【图文】
公司欲取名深圳不怕影子斜遭拒绝 市场监督管理局回应【图文】 两游客遭溪流冲走事发地为荒废景区 前景区负责人称早年开发中 男子蒙面抢劫金店警方6小时将其抓获 涉案财物全追回【图文】 中方坚决反对在亚太搞封闭排他的小圈子【图文】
近期热点
热门文章
日榜 周榜
1 戚薇录乘风十天没理李承铉 50亿诱惑考验真爱【图文】

戚薇录乘风十天没理李承铉 最近，关于戚薇和李承铉的新闻引起了广泛讨论。戚薇，作为娱乐...

 2 英伟达新研究：上下文长度虚标严重，32K性能合格的都不多【图

英伟达新研究：上下文长度虚标严重，32K性能合格的都不多 英伟达最近的研究揭示了长上下文...

 3 英媒：特朗普遭定罪后动摇选民支持，共和党选民现分歧【图文

英媒：特朗普遭定罪后动摇选民支持 5月30日，美国纽约一家法院陪审团的裁决让前总统特朗普...

 4 知道为什么洪世贤认不出品如了 张小斐短发造型引热议【图文】

知道为什么洪世贤认不出品如了 张小斐0110 秀场亮相，短发造型惊艳四座！网友：终于知道为...

 5 以军军事行动减弱 谈判预期增强 前景不明朗【图文】

以军军事行动减弱 谈判预期增强 6月2日，以色列总理内塔尼亚胡的首席外交顾问奥菲尔·福尔...

 6 共享单车儿童座椅有多危险 家庭出行的隐形风险【图文】

共享单车的广泛使用极大地方便了人们的日常出行，尤其对于有小孩的家庭，随车配备的儿童...

 7 周星驰首部短剧抖音独家播出 《金猪玉叶》引爆热议【图文】

6月2日，周星驰监制的短剧《金猪玉叶》在“九五二七剧场”首播，首集长度为6分11秒，观众可...

 8 詹姆斯为啥非要一个新手当主帅？背后玄机何在？【图文】

ESPN评论员斯蒂芬-A-史密斯透露，勒布朗-詹姆斯怀有两个愿望：其一，希望洛杉矶湖人队能选秀...

 9 吴谨言演技爆棚网友盛赞“演技派新星” 再次为吴谨言的出色表

看了她在《墨雨云间》里的表现，在我心里简直封神了！ 剧里的薛芳菲，前期被遇背叛，那场...

 10 樊振东4-3王楚钦夺冠 激烈对决落幕【图文】

樊振东4-3王楚钦夺冠！6月3日晚，WTT重庆冠军赛男单决赛上演了一场中国德比之战，世界第一王...
1 戚薇录乘风十天没理李承铉 50亿诱惑考验真爱【图文】

戚薇录乘风十天没理李承铉 最近，关于戚薇和李承铉的新闻引起了广泛讨论。戚薇，作为娱乐...

 2 英伟达新研究：上下文长度虚标严重，32K性能合格的都不多【图

英伟达新研究：上下文长度虚标严重，32K性能合格的都不多 英伟达最近的研究揭示了长上下文...

 3 英媒：特朗普遭定罪后动摇选民支持，共和党选民现分歧【图文

英媒：特朗普遭定罪后动摇选民支持 5月30日，美国纽约一家法院陪审团的裁决让前总统特朗普...

 4 知道为什么洪世贤认不出品如了 张小斐短发造型引热议【图文】

知道为什么洪世贤认不出品如了 张小斐0110 秀场亮相，短发造型惊艳四座！网友：终于知道为...

 5 以军军事行动减弱 谈判预期增强 前景不明朗【图文】

以军军事行动减弱 谈判预期增强 6月2日，以色列总理内塔尼亚胡的首席外交顾问奥菲尔·福尔...

 6 共享单车儿童座椅有多危险 家庭出行的隐形风险【图文】

共享单车的广泛使用极大地方便了人们的日常出行，尤其对于有小孩的家庭，随车配备的儿童...

 7 周星驰首部短剧抖音独家播出 《金猪玉叶》引爆热议【图文】

6月2日，周星驰监制的短剧《金猪玉叶》在“九五二七剧场”首播，首集长度为6分11秒，观众可...

 8 詹姆斯为啥非要一个新手当主帅？背后玄机何在？【图文】

ESPN评论员斯蒂芬-A-史密斯透露，勒布朗-詹姆斯怀有两个愿望：其一，希望洛杉矶湖人队能选秀...

 9 吴谨言演技爆棚网友盛赞“演技派新星” 再次为吴谨言的出色表

看了她在《墨雨云间》里的表现，在我心里简直封神了！ 剧里的薛芳菲，前期被遇背叛，那场...

 10 樊振东4-3王楚钦夺冠 激烈对决落幕【图文】

樊振东4-3王楚钦夺冠！6月3日晚，WTT重庆冠军赛男单决赛上演了一场中国德比之战，世界第一王...
热门资讯

备案号：鄂ICP备2022006215号 Copyright © 2002-2022 关于我们 网站地图