AI技术

Sora Al短视频生成

Sora是一款由OpenAI公司出品的AI人工智能视频生成软件，用户输入语言指令即可自动生成各种风格的视频画面。支持文字生成视频和图片生成视频。Sora可以快速制作最长一分钟、准确反映用户提示、可一镜到底的视频2024年11月25日

Sora可以快速制作最长一分钟、准确反映用户提示、可一镜到底的视频（其他AI视频工具还在突破几秒内的连贯性），视频可以呈现“具有多个角色、特定类型的动作、以及主题和背景的准确细节的复杂场景”


Sora还具备根据静态图像生成视频的能力，能够让图像内容动起来，并关注细节部分，使得生成的视频更加生动逼真，这一功能在动画制作、广告设计等领域具有应用前景 。

Sora能够获取现有视频并对其进行扩展或填充缺失的帧，这一功能在视频编辑、电影特效等领域具有应用前景，可以帮助用户快速完成视频内容的补充和完善。

还可以使用Sora连接两个输入视频，在具有完全不同主题和场景组成的视频之间实现无缝过渡。

 Sora的6大优势
 
 （1）准确性和多样性：Sora可将简短的文本描述转化成长达1分钟的高清视频。它可以准确地解释用户提供的文本输入，并生成具有各种场景和人物的高质量视频剪辑。它涵盖了广泛的主题，从人物和动物到郁郁葱葱的风景、城市场景、花园，甚至是水下的纽约市，可根据用户的要求提供多样化的内容。另据Medium，Sora能够准确解释长达135个单词的长提示。
 
 （2）强大的语言理解：OpenAI利用Dall·E模型的recaptioning（重述要点）技术，生成视觉训练数据的描述性字幕，不仅能提高文本的准确性，还能提升视频的整体质量。此外，与DALL·E 3类似，OpenAI还利用GPT技术将简短的用户提示转换为更长的详细转译，并将其发送到视频模型。这使Sora能够精确地按照用户提示生成高质量的视频。
 
 （3）以图/视频生成视频：Sora除了可以将文本转化为视频，还能接受其他类型的输入提示，如已经存在的图像或视频。这使Sora能够执行广泛的图像和视频编辑任务，如创建完美的循环视频、将静态图像转化为动画、向前或向后扩展视频等。OpenAI在报告中展示了基于DALL·E 2和DALL·E 3的图像生成的demo视频。这不仅证明了Sora的强大功能，还展示了它在图像和视频编辑领域的无限潜力。
 
 （4）视频扩展功能：由于可接受多样化的输入提示，用户可以根据图像创建视频或补充现有视频。作为基于Transformer的扩散模型，Sora还能沿时间线向前或向后扩展视频。
 
 （5）优异的设备适配性：Sora具备出色的采样能力，从宽屏的 1920x1080p 到 竖 屏 的1080x1920，两者之间的任何视频尺寸都能轻松应对。这意味着Sora能够为各种设备生成与其原始纵横比完美匹配的内容。而在生成高分辨率内容之前，Sora还能以小尺寸迅速创建内容原型。
 
 （6）场景和物体的一致性和连续性：Sora可以生成带有动态视角变化的视频，人物和场景元素在三维空间中的移动会显得更加自然。Sora 能够很好地处理遮挡问题。现有模型的一个问题是，当物体离开视野时，它们可能无法对其进行追踪。而通过一次性提供多帧预测，Sora可确保画面主体即使暂时离开视野也能保持不变。

Sora这一名称源于日文“空”，即天空之意，以示其无限的创造潜力。其背后的技术是在OpenAI的文本到图像生成模型DALL-E基础上开发而成的。Sora可以根据用户的文本提示创建最长60秒的逼真视频，该模型了解这些物体在物理世界中的存在方式，可以深度模拟真实物理世界，能生成具有多个角色、包含特定运动的复杂场景。继承了DALL-E 3的画质和遵循指令能力，能理解用户在提示中提出的要求。Sora对于需要制作视频的艺术家、电影制片人或学生带来无限可能，其是OpenAI“教AI理解和模拟运动中的物理世界”计划的其中一步，也标志着人工智能在理解真实世界场景并与之互动的能力方面实现飞跃 。
2022年底，OpenAI正式推出ChatGPT，这款由人工智能技术驱动的自然语言处理工具能够通过学习和理解人类的语言来进行对话 。ChatGPT是OpenAI迈出的第一步，这款让所有人都能体会到人工智能潜力的现象级产品，展现出了文字对于过去人工智能的理解力和逻辑能力的超越。随后，OpenAI的开发重点逐步过渡到图像的生成，Dall-E模型在生成图像方面也获得了重大突破。视觉算法的进步：觉算法近年来的突破在泛化性、可提示性、生成质量和稳定性等方面均取得了进展，这预示着技术拐点的临近以及爆款应用的涌现。特别是在3D资产生成和视频生成领域，由于扩散算法的成熟，这些领域受益匪浅。然而，与图像生成相比，3D资产和视频生成在数据和算法方面面临的难点更多。尽管如此，考虑到大型语言模型（LLM）对人工智能各领域的加速作用以及已经出现的优秀开源模型，2024年该行业有望实现更大的发展。

2021年1月5日文生图模型Dall-E发布
Dall-E可以根据简单的描述创建逼真和清晰的图像，精通各种艺术风格，还可以生成文字制作建筑物上的标志，并制作同一场景的草图和全彩图像。

2022年4月Dall-E 2发布
Dall-E 2不仅可以生成更真实和更准确的画像，而且能够将文本描述中的概念、属性和风格等元素综合起来，生成现实主义的图像和艺术作品。

2022年11月30日大语言模型ChatGPT发布
ChatGPT不仅能与人对话，还能编写代码、创作内容等，这一款革命性产品的上线引发全球关注，上线仅5天用户数量就已突破100万。

2023年3月15日GPT-4正式面世
GPT-4可以更准确地解决用户的难题，多模态的GPT-4还可以生成、编辑具有创意性或技术性的文章，在高级推理方面的表现超过其前代产品。

2023年9月21日Dall-E 3正式发布
Dall-E 3能够更准确、更优秀地生成效果，可以更准确地呈现用户的想法，用户可以要求ChatGPT提供合适的提示词。

2024年2月16日Sora问世
Sora继承了Dall-E 3的画质和遵循指令能力，可以根据用户的文本提示创建逼真的视频，可以深度模拟真实物理世界，能生成具有多个角色、包含特定运动的复杂场景。