3月14日,商汤科技发布多模态多任务通用大模型“书生(INTERN)2.5”,在多模态多任务处理能力方面实现多项全新突破,其卓越的图文跨模态开放任务处理能力可为自动驾驶、机器人等通用场景任务提供高效精准的感知和理解能力支持,向通用人工智能迈出坚实的一步。“书生(INTERN)”最初版本由商汤科技、上海人工智能实验室、清华大学、香港中文大学、上海交通大学在2021年11月首次共同发布,并持续联合研发。
“书生2.5”拥有30亿参数,不仅是世界上开源模型中ImageNet准确度最高、规模最大的模型,也是物体检测标杆数据集COCO中唯一超过65.0 mAP的模型。目前,“书生2.5”多模态通用大模型已在通用视觉开源平台OpenGVLab开源,为学术界和产业界的多模态通用模型研发提供有力支撑。
当前,人工智能技术的发展正面临着大量跨模态任务的挑战,为满足快速增长的各式应用场景需求,发展更为通用的人工智能模型已成为科技前沿的核心焦点问题。此次全新发布的“书生2.5”致力于多模态多任务通用模型的构建,融易新媒体,可接收处理各种不同模态的输入,并采用统一的模型架构和参数处理各种不同的任务,促进不同模态和任务之间在表示学习方面的协作,逐步实现通用人工智能领域的融会贯通。
迈向AGI通用人工智能,大幅提升通用场景感知和理解能力
在当今快速增长的各式应用场景需求下,传统计算机视觉已无法处理真实世界中数不胜数的特定任务和场景需求。我们迫切需要一种具备通用场景感知和复杂问题处理能力的高级视觉系统。
“书生2.5”实现了通过文本来定义任务,从而可以灵活地定义不同场景的任务需求,并根据给定视觉图像和任务的提示性语句,给出相应的指令或作答,进而具备通用场景下的高级感知和复杂问题处理能力,比如图像描述、视觉问答、视觉推理和文字识别等。
在自动驾驶和居家机器人等通用场景下,“书生2.5”可辅助处理各种复杂任务。例如在自动驾驶场景下,可以大幅提升场景感知理解能力,准确地辅助车辆判断交通信号灯状态、道路标志牌等信息,为车辆的决策规划提供有效信息输入。
利用多模态多任务通用大模型辅助完成自动驾驶场景中各类复杂任务
利用多模态多任务通用大模型辅助完成居家机器人场景中各类复杂任务
除了解决例如自动驾驶和居家机器人这类复杂问题的能力,“书生2.5”通用大模型也可以解决纷繁复杂的日常生活中的常见任务,满足各种需求。
除了全图级别的以图生文,“书生2.5”通用大模型同样可以根据物体边框更精细化定位任务需求。
“书生2.5”同时具备AIGC“以文生图”的能力,可根据用户提出的文本创作需求,利用扩散模型生成算法,生成高质量、自然的写实图像。例如借助“书生2.5”的以文生图能力帮助自动驾驶技术研发,通过生成各类真实的道路交通场景,如繁忙的城市街道、雨天拥挤的车道、马路上奔跑的狗等,生成写实的Corner Case训练数据,进而训练自动驾驶系统对Corner Case场景的感知能力上限。
“书生2.5”还可根据文本快速检索出视觉内容。例如,可在相册中返回文本所指定的相关图像,或是在视频中,检索出与文本描述最相关的帧,提高视频中时间定位任务的效率。此外还支持引入物体检测框,根据文本返回最相关的物体,可实现开放世界视频或图像中物体检测及视觉定位。
三位一体,高效能打通自然语言、图像等多模态任务处理
中国经济网3月15日讯(记者 韩璐)据国家医保局网站3月14日公布的消息,近日国家医保局印发了...
2 商汤发布开源社区最大最强多模态多任务通用大模型“书生2.5”3月14日,商汤科技发布多模态多任务通用大模型“书生(INTERN)2.5”,在多模态多任务处理能力方...
3 流感高发科学备药,连花清咳片不能少如今正值流感高发时期,居家如何选药备药成为大家关注的重点。时至3月,在季节性过敏和甲...
4 携国际顶级供给链打造匠心好品 衬衫老罗新品即将震撼宣布随着国人消费理念和服装品味的升级,男装市场也释放出强劲的市场活力。据第三方调研数据...
5 全力以“服” 成就价值 恒昌第四届客户服务月3•15盛大启航强信心、稳经济、挺民企……自全国“两会”召开以来,各地纷纷吹响拼经济、谋发展的号角...
6 诚信3·15 华致酒行再获产品与服务质量诚信多项认证“共筑诚信消费情况,提振消费信心”,跟着一年一度的“3·15”消费者权益日到来,由中国质...
7 刷新电动车续航里程天花板 雅迪冠能E9 PRO让出行不再焦虑两轮电动车中“豪华SUV”是谁?虽然是它——雅迪冠能 E9 PRO!在兔年央视《Young在春晚》节目...
8 北京第三建筑工程有限公司未严格按建筑业安全作业标准施工被中国网财经3月15日讯 北京市住房和城乡建设委员会近期发布的消息显示,北京市第三建筑工程...
9 中铁八局集团有限公司因违反佛山市扬尘污染防治条例被罚中国网财经3月15日讯 信用中国最新消息显示,中铁八局集团有限公司因施工工地未采取有效防...
10 人口困局下的“辅助生殖”:不孕不育患者平均需要2.7年才能进中国网财经3月15日讯(记者 杜丁)随着出生人口和生育率持续下降,中国人口2022年出现近61年来...
中国经济网3月15日讯(记者 韩璐)据国家医保局网站3月14日公布的消息,近日国家医保局印发了...
2 商汤发布开源社区最大最强多模态多任务通用大模型“书生2.5”3月14日,商汤科技发布多模态多任务通用大模型“书生(INTERN)2.5”,在多模态多任务处理能力方...
3 流感高发科学备药,连花清咳片不能少如今正值流感高发时期,居家如何选药备药成为大家关注的重点。时至3月,在季节性过敏和甲...
4 携国际顶级供给链打造匠心好品 衬衫老罗新品即将震撼宣布随着国人消费理念和服装品味的升级,男装市场也释放出强劲的市场活力。据第三方调研数据...
5 全力以“服” 成就价值 恒昌第四届客户服务月3•15盛大启航强信心、稳经济、挺民企……自全国“两会”召开以来,各地纷纷吹响拼经济、谋发展的号角...
6 诚信3·15 华致酒行再获产品与服务质量诚信多项认证“共筑诚信消费情况,提振消费信心”,跟着一年一度的“3·15”消费者权益日到来,由中国质...
7 刷新电动车续航里程天花板 雅迪冠能E9 PRO让出行不再焦虑两轮电动车中“豪华SUV”是谁?虽然是它——雅迪冠能 E9 PRO!在兔年央视《Young在春晚》节目...
8 北京第三建筑工程有限公司未严格按建筑业安全作业标准施工被中国网财经3月15日讯 北京市住房和城乡建设委员会近期发布的消息显示,北京市第三建筑工程...
9 中铁八局集团有限公司因违反佛山市扬尘污染防治条例被罚中国网财经3月15日讯 信用中国最新消息显示,中铁八局集团有限公司因施工工地未采取有效防...
10 人口困局下的“辅助生殖”:不孕不育患者平均需要2.7年才能进中国网财经3月15日讯(记者 杜丁)随着出生人口和生育率持续下降,中国人口2022年出现近61年来...
备案号:鄂ICP备2022006215号 Copyright © 2002-2022 关于我们 融易新媒体