Sora可生成60秒一镜到底视频 神级效果生成(2)

Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.

得益于DALL·E 3所使用的扩散模型，以及GPT-4的Transformer引擎，Sora不仅能够生成满足特定要求的视频，而且能够展示出对电影拍摄语法的自发理解。

这种能力体现在它对讲故事的独特才能上。

例如，在一个以「色彩缤纷的鱼类和海洋生物充斥的，由纸艺精心构建的珊瑚礁世界」为主题的视频中，项目研究员Bill Peebles指出，Sora通过其摄影角度和拍摄时机，成功地推进了故事的发展。

「视频中实际上发生了多次镜头转换——这些镜头并非后期拼接而成，而是模型一气呵成地生成的，」他解释道。「我们并没有特别指令它这么做，它却能自动完成。」

Prompt: A gorgeously rendered papercraft world of a coral reef, rife with colorful fish and sea creatures.

不过，当前的模型并不完美。它在模拟复杂场景的物理效果上可能会遇到难题，有时也难以准确理解特定情境下的因果关系。比如，某人吃掉饼干的一部分后，饼干可能看起来仍然完整无损。

此外，模型在处理空间细节，如区分左右时可能会出错，也可能在描述随时间变化的事件，如特定的摄影机动作轨迹时，表现不够精确。

好在，它还并不完美。

否则，虚拟和现实的界限，还能区分得清吗?

这不是现实?

但是无可否认的是，可怕的事实已经就在面前：一个已经能够理解和模拟现实世界的模型，也就意味着AGI已经不远了。

「唯一真正的视频生成工作」

业内大佬张启煊评价道，「Sora是我目前看到唯一跳脱出空镜头生成、真正的视频生成工作。」

在他看来，目前看来Sora跟Pika、Runway是有代差的，视频生成领域终于遭OpenAI支配。或许某天3D视频领域，有朝一日也能体会到这种恐惧。

网友们都遭震惊到失语：「下一个十年会是疯狂的十年。」

「都结束了，我的饭碗要丢了。」

「整个素材行业都会随着这篇成果的发布而消亡……」

OpenAI就是没法停下干死初创公司的脚步，是吗?

「好莱坞即将发生核爆」。

AI电影制作人和他们目前的项目。

技术介绍

Sora是一种扩散模型，它能够通过从一开始看似静态噪声的视频出发，经过多步骤的噪声去除过程，逐渐生成视频。

Sora不仅能够一次性生成完整的视频，还能延长已生成的视频。

通过让模型能够预见多帧内容，团队成功克服了确保视频中的主体即便暂时消失也能保持一致性的难题。

与GPT模型类似，Sora采用了Transformer架构，从而实现了卓越的性能扩展。

OpenAI把视频和图像分解为较小的数据单元——「patches」，每个「patches」相当于GPT中的一个「token」。

这种统一的数据表示方法能够在更广泛的视觉数据上训练扩散Transformer，覆盖了不同的持续时间、分辨率和纵横比。

Sora基于DALL·E和GPT模型的研究成果，采用了DALL·E 3的重标注技术，通过为视觉训练数据生成详细描述的标题，使模型更加准确地遵循用户的文本指令生成视频。

除了能根据文本指令生成视频外，这款模型还能将现有的静态图像转化成视频，精确细致地赋予图像中内容以生动的动画。模型还能扩展现有视频或补全缺失的帧。

Sora为理解和模拟现实世界的模型奠定了基础，对此OpenAI认为这是实现通用人工智能(AGI)的重要步骤。

作品欣赏

一列火车穿越东京郊区时，窗户上反射出的迷人景象。

Prompt: Reflections in the window of a train traveling through the Tokyo suburbs.