gulihua
122 lines
9.6 KiB
Markdown
122 lines
9.6 KiB
Markdown
## 一张照片生成连贯全片！Runway Gen4 深夜发布，终于捅破 AI 视频多年的天花板
|
||
|
||
|
||
|
||
「深度思考」成为模型的标配，Manus 这样会干活的 Agent 也开始介入我们的工作流，GPT-4o 的生图功能让每个人都能作出媲美专业的的风格。
|
||
|
||
今天凌晨，Runway 的新版本 Gen-4 又试图解决 AI 视频的一个关键难题，让 AI 视频更靠近电影级。
|
||
|
||
这一切都只发生在短短的 2 个多月内，很难想象今年 AI 会发展到什么程度，或许今年将会是 GPT-3.5 后真正的 AI 爆发年。
|
||
|
||
这是一个导演酝酿了十余年却始终未能用 AI 实现的故事。
|
||
|
||
在此之前，要用 AI 打造这部视频，需攻克一系列难题：角色形象的连贯性、情感表达的细腻度、物理效果的真实感、叙事的连续性，以及整体风格的统一性。
|
||
|
||
直到老牌 AI 视频生成巨头最新模型 Runway Gen-4 的到来，这款号称全球首款实现「世界一致性」的模型横空出世，意味着用户可以创建具有一致环境、物体、位置和角色的连贯世界，才让导演的梦想照进现实。
|
||
|
||
现在 Runway Gen-4 已向所有付费用户和企业客户开放。Runway 团队还透露，用于角色、位置和物体一致性的场景参考功能即将推出。
|
||
|
||
官网显示，Gen-4 的核心亮点包括：
|
||
|
||
世界一致性：能在多个场景中保持人物、场景和物体的一致性，无需额外精调。
|
||
|
||
参考图能力：仅凭一张参考图，即可在不同光线和场景中生成一致的角色或物体。
|
||
|
||
场景覆盖：从任意角度重建和捕捉场景，只需提供参考图和描述。
|
||
|
||
物理效果：模拟真实世界物理规律，呈现逼真的光照、阴影和动态效果。
|
||
|
||
视频质量：具备极强的提示理解能力和世界构建能力。
|
||
|
||
生成式视觉特效：提供快速、可控的视频特效，可与实拍和传统特效无缝融合。
|
||
|
||
|
||
|
||
Runway 联合创始人兼 CEO Cristóbal Valenzuela Barrera 在 X 平台发文称：
|
||
|
||
**我们新一代用于媒体生成与世界一致性的 AI 模型系列来了。欢迎 Gen-4 的到来。这个模型非常特别，我们从零开始完全为一个目标打造它：讲述精彩的故事。**
|
||
|
||
如开篇所说，Gen-4 的最大亮点在于实现了「世界一致性」——能够在多个场景中精准生成人物、场景和物体，并保持其视觉特征的一致性。
|
||
|
||
用户只需设定好整体风格和视觉效果，模型就能在保持每一帧独特风格、氛围和电影质感的同时，维持连贯的世界环境。而这一切无需精调或额外训练。
|
||
|
||
通过结合视觉参考和文字指令，Gen-4 能够生成风格、主题、场景高度一致的图像和视频，大幅简化了专业内容创作的流程，用户现在可以制作 5 秒和 10 秒的 720p 高清视频片段。
|
||
|
||
为了展现 Gen-4 的潜力，Runway 团队精心打造了一系列短片。
|
||
|
||
开场镜头设定了《The Lonely Little Flame》整个短片的基调、感觉和氛围。在其中一个场景中，有一只臭鼬在寻找什么东西。借助 Gen 4，创作者可以直接指导主体穿越场景。
|
||
|
||
他们为臭鼬设定了两个关键标记点，精确控制其移动路径——先移动到场景一侧，再折返回来，成功营造出「寻找」的动态感。
|
||
|
||
|
||
|
||
「就像所有伟大的动画一样，你可以在角色设计和场景移动中看到丰富的表现力，」团队成员解释道，「同一角色在不同场景、不同光照条件下保持一致性，同时能够表现不同的情绪和动作。」
|
||
|
||
为了制作这个片段，Runway 团队的一名成员在几个小时内生成了几百个单独的视频片段，然后将它们编辑成一个连贯的片段。音效是另外添加的。
|
||
|
||
在接受彭博社的采访时，Runway 联合创始人兼 CEO Cristóbal Valenzuela Barrera 表示，整个过程花了几天时间。
|
||
|
||
传统的视觉特效制作往往需要耗费大量时间进行建模、渲染和后期调整，Runway Gen-4 引入生成式视觉特效（GVFX）技术，能够通过 AI 驱动的生成能力，大幅缩短了这一过程。
|
||
|
||
GVFX 的技术核心在于其高效性和适应性。
|
||
|
||
用户只需提供简单的视觉参考或文字描述，例如角色的动作、场景的氛围或特定的特效需求，Gen-4 便能在短时间内生成高质量的视频片段。
|
||
|
||
|
||
|
||
一个具体的应用案例是 Runway 团队在演示中展示的「木制玩具」场景。
|
||
|
||
Runway 团队成员拿出一个木制玩具，用手机拍摄照片后导入 Gen-4 作为参考，同时上传了此前拍摄的纽约街景作为背景。通过一句简单描述：「木制玩具靠在纽约街道的人行道旁」，Gen-4 迅速生成了四张图像。
|
||
|
||
挑选其中一张，挑选一张，并为画面添加了行人从玩具前走过的动画效果。「你可以将这个玩具放在任何地方——山脉中、沙漠里，基本上你想做什么都可以。」
|
||
|
||
|
||
|
||
《牛群》是一部扣人心弦短片，讲述了一名年轻男子在夜晚被追赶穿越一片牛群的故事。仅凭 Gen-4 和几张简单的图像参考，Runway 团队构建了角色的每个镜头以及雾气弥漫的牛群场景。
|
||
|
||
与此同时，Runway 还运用了 Act-One 技术，进一步增强了画面的表现力与连贯性。
|
||
|
||
在这部短片中，制作团队特别强调了两大技术亮点：在牛的眼睛中可以看到人物的倒影，以及火焰在草地上蔓延的逼真物理效果。
|
||
|
||
这个案例展现了 Gen-4 如何利用一致的角色、物体和环境贯穿多个场景。创作者可以从一个精心设计的角色入手，构建氛围与外观，再生成全新图像，并为不同镜头和视角提供多样变化。
|
||
|
||
|
||
|
||
Gen-4 对现实物理世界的理解达到了新高度。
|
||
|
||
《纽约》短片将纽约不同区域的真实照片结合动物的真实照片，清晰地展示了 Gen-4 对物理、动物重量、它们如何在表面移动以及与环境互动方式的理解。
|
||
|
||
|
||
|
||
复杂的创意作品往往从一个简单的构想开始。
|
||
|
||
视频创作的过程也能像滚雪球一样逐渐壮大，Runway 团队以一个音乐视频为例，最初只是一张普普通通的猴子图像，最终发展成一部内容丰富、节奏紧凑的完整音乐视频。
|
||
|
||
Runway CEO 去年曾做出过一个重要论断，「**AI 正在成为像电力或互联网一样的基础设施。在今天称自己为 AI 公司，就像在 2024 年称自己为互联网公司一样。这没有意义，因为人人都在用 —— 每家公司都使用互联网；每家公司都将使用 AI。**」
|
||
|
||
正如电力革命不是关于发电厂，而是关于电灯、电视和电冰箱如何改变生活。在他看来，Runway 不是一家 AI 公司，而是一家媒体和娱乐公司。
|
||
|
||
Runway 此前已为美剧《大卫王朝》（House of David）生成影视场景，以及为 Puma 制作广告等。
|
||
|
||
影视行业一直是 AI 视频生成工具攻坚的重要一环。去年 9 月，Runway 与著名电影制作公司狮门影业（Lionsgate）达成合作，这是首个大型电影公司与 AI 视频模型供应商直接签订的协议。
|
||
|
||
Runway 将利用狮门影业超过两万部影视作品的资料库，包括《饥饿游戏》等知名影片，构建一个定制的 AI 视频制作和编辑模型。该模型将应用于故事板制作、背景创建和特效制作。
|
||
|
||
一支好的钢笔不会让作家思考墨水流动的物理原理，优秀的 AI 创作工具也不应让导演分心于算法细节。
|
||
|
||
|
||
|
||
Valenzuela 也指出，公司在训练其模型时，更多地参考了电影行业的术语，而不是过去的方式，目的是让使用该模型的电影制作人在编写提示时能够更加自然。
|
||
|
||
我们后续将带来 Gen-4 具体的实测，但无论此次实际效果如何，一个不争的趋势是，生成 AI 视频生成工具正在颠覆我们所知的电影和电视行业。
|
||
|
||
梦工场的联合创始人杰弗里·卡森伯格甚至表示，AI 可能会消灭动画电影 90% 的岗位。
|
||
|
||
传统动画制作流程中的许多环节——中间帧绘制、背景设计、着色润色——可能被 AI 大幅简化或取代。但与此同时，新的专业岗位正在涌现，AI 提示工程师、视觉开发总监、AI-人类协作编导等角色未来也将出现在制作名单中。
|
||
|
||
能够渲染视频，实现基础生成功能——这是当前 AI 视频技术的普遍水平，而在 Runway Gen-4 此次的宣传中，**则强调 AI 能够创作真实故事，制作出既美观又有娱乐性，能够引起情感共鸣的内容。**
|
||
|
||
或许只有当工具变得足够简单，创作者才能真正关注重要的事情——讲述触动人心的故事。
|
||
|
||
> 来源：APPSO ｜ 36kr
|