重磅！类人速度超快语音响应！OpenAI推出新旗舰模型GPT-4o 图文音频手机AI搞定(2)

2024-05-14 21:11:39来源：互联网

文章导读: 北京时间周二凌晨1点，自年初“文生视频模型”Sora后许久未给市场带来惊喜的OpenAI举行春季发布会。公司首席技术官米拉·穆拉蒂（Mira Murati）向外界展现了多项与ChatGPT有关的更新。简要来...

　　在直播活动结束时，穆拉蒂感谢了英伟达首席执行官黄仁勋及其公司提供的必要图形处理单元（GPU），这些GPU为OpenAI的技术提供了动力。她说，“我只想感谢出色的OpenAI团队，同时也要感谢黄仁勋和英伟达团队为我们带来最先进的GPU，让今天的演示成为可能。”

　　最快232毫秒响应音频输入

　　OpenAI官网介绍，GPT-4o中的o代表意为全能的前缀omni，称它向更自然的人机交互迈进了一步，因为它接受文本、音频和图像的任意组合作为输入内容，并生成文本、音频和图像的任意组合输出内容。

图片来源：OpenAI官网截图

　　除了API的速度更快、成本大幅下降，OpenAI还提到，GPT-4o可以在最快232毫秒的时间内响应音频输入，平均响应时间为320毫秒，这与人类在对话中的响应时间相似。它在英语文本和代码方面的性能与GPT-4 Turbo的性能一致，并且在非英语文本方面的性能有了显著提高。

　　OpenAI介绍，与现有模型相比，GPT-4o在视觉和音频理解方面尤其出色。以前GPT-3.5和GPT-4用户以语音模式Voice Mode与ChatGPT对话的平均延迟时间为2.8秒和5.4秒，因为OpenAI用了三个独立的模型实现这类对话：一个模型将音频转录为文本，一个模型接收并输出文本，再有一个模型将该文本转换回音频。这个过程意味着，GPT丢失了大量信息，它无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。

　　而GPT-4o的语音对话是OpenAI跨文本、视觉和音频端到端训练一个新模型的产物，这意味着所有输入和输出都由同一神经网络处理。OpenAI称，GPT-4o是其第一个结合所有这些模式的模型，因此仍然只是浅尝辄止地探索该模型的功能及其局限性。

　　上周曾有消息称，OpenAI将发布基于AI的搜索产品，但上周五OpenAI的CEO Sam Altman否认了该消息，称本周一演示的既不是GPT-5，也不是搜索引擎。这意味着OpenAI再一次没有像市场爆料的时间线那样推出AI搜索。此后有媒体称，OpenAI的新产品可能是一个具备视觉和听觉功能的全新多模态AI模型，且具有比目前聊天机器人更好的逻辑推理能力。

　　相关报道

　　AI圈沸腾！巨头神秘新品来了苹果“赢麻了”？

　　联手OpenAI 苹果一夜市值大增近3600亿元 GPT-4o新模型会代替Siri？

　　电影中的人工智能来了！OpenAI发布全能大模型：文图音任意组合输出可实现人类级别响应

共2页: 上一页【1】【2】下一页