v8.375.355 最新版
v1.287 安卓版
v1.470 安卓版
v5.948.4644.964351 IOS版
v5.864.9383.168731 IOS版
v9.129 最新版
v1.403 PC版
v1.302 最新版
v2.113 安卓免費版
v2.917 IOS版
v3.337.1859.432402 IOS版
v1.381.3014 安卓漢化版
v4.65 安卓免費版
v6.847.6560.393508 PC版
v1.896.4608 IOS版
v4.437.8273.630151 安卓免費版
v3.822.3024.795290 最新版
v6.517.96.1246 安卓免費版
v3.720.294.873230 PC版
v7.151.1042 安卓免費版
v2.229.7747.555159 最新版
v1.696.3775 PC版
v4.660 PC版
v7.410.6920.259833 安卓漢化版
v8.701.8956 安卓漢化版
v3.758.9887.761256 安卓漢化版
v4.137.5975 PC版
v1.832.586.11515 IOS版
v5.801.2783.140684 PC版
v1.205 安卓漢化版
v1.828 安卓最新版
v8.994.9933.135049 PC版
v3.754.634.254150 安卓最新版
v5.36 安卓漢化版
v7.907 IOS版
v2.901 安卓版
v4.551.4722 最新版
v9.376 最新版
v1.483.4560.340509 最新版
v4.169.8695.419508 最新版
v4.308.6138 IOS版
v1.636 PC版
v9.928 PC版
v1.405.4581.147674 IOS版
v5.495 最新版
v4.355 IOS版
v9.556.7471.21850 安卓最新版
v5.324.2893.779530 安卓版
v1.146.1939.159730 安卓漢化版
v3.727 安卓免費版
v1.122 安卓漢化版
v1.407.8771 安卓版
v3.308 安卓版
v5.600.784.839980 最新版
v4.252.949 PC版
v2.997.533.46365 IOS版
v6.444.9816.535633 安卓免費版
v5.349 安卓漢化版
v1.179.4249.636661 安卓最新版
v2.803 安卓版
v2.431.3567 最新版
v7.296 安卓最新版
v7.325.6698.215819 PC版
v6.682 最新版
v8.471.6168.489360 安卓最新版
v8.331.3411 PC版
v9.900.3771.952961 安卓版
v7.155 安卓最新版
v2.866.8229.129024 最新版
v7.890.6711.704932 安卓漢化版
v7.63.6691 IOS版
v2.90.8961.767000 安卓版
v9.743.5345.425636 安卓版
v1.181 IOS版
v6.643.465.360503 安卓最新版
v9.29 安卓版
v3.734.6626 安卓漢化版
v8.196.4179.550876 最新版
v8.884.2859.391399 安卓最新版
v9.617.2764.312625 安卓免費版
直接能够免费看黄的网站
新智元报道
编辑:LRST
【新智元导读】最新要领FFGo改变了我们对视频天生模子中第一帧的明确。第一帧并非简朴起点,而是模子的「看法影象体」,存储了后续画面的视觉元素。FFGo通过少量样本和特殊训练,激活模子的这种能力,实现高质量的视频定制,无需修改模子结构或大宗数据,为视频天生开发了新偏向。
在Text-to-Video / Image-to-Video 手艺突飞猛进的今天,我们已经习惯了这样一个知识:
视频天生的第一。‵irst Frame)只是时间轴的起点,是后续动画的起始画面。
但马里兰大学、南加利福尼亚大学、麻省理工学院的最新研究发明:第一帧的真正角色完全不是「起点」,它着实是视频模子的「看法影象体」(conceptual memory buffer), 所有后续画面引用的视觉实体,都被它默默贮保存这一帧里。
论文链接:https://arxiv.org/abs/2511.15700
项目主页:http://firstframego.github.io
该研究的起点,源于对视频天生模子中一个普遍保存但尚未被系统研究的征象的深入思索。
论文的焦点洞察很是大胆:视频天生模子会自动把首帧中的角色、物体、纹理、结构等视觉实体,所有「记着」,并在后续帧中一直复用。
换句话说,岂论你给几多参考物体,模子都会在第一帧悄悄把它们打包成一个「看法蓝图(blueprint)」。
研究者用Veo3、Sora2、Wan2.2等视频模子测试发明:
若首帧泛起多工具组合, 在很少的情形下,通过使用特殊的转场提醒词 ,模子在后续帧里能自然融合它们, 甚至能支持跨场景转场、坚持角色属性一致;
可是这个神奇的转场提醒词 关于每个模子,每个要天生的视频都是纷歧样的,并且模子在转场融合多物体后常;岜⑽锾,场景一致性损失,或者物体丧失的问题。
这说明:
? 第一帧是模子「影象」外来参考的地方
? 但默认情形下,这种能力「不稳固、不可控」
FFGo要领
不改结构、不大规模微调,只用20–50个例子就能让任何预训练的视频模子变身强盛的「参考图驱动视频定制系统」。
研究者基于这个洞见提出了一套极其轻量的做法 :FFGo。
要害优势震撼整个行业:
? 不修改任何模子结构? 不需要百万级训练数据? 只需 20–50 个 carefully curated 的视频例子? 几个小时的 LoRA 训练? 就能实现SOTA级别的视频内容定制
这在现有要领中险些是不可想象的。
研究职员列出了6大应用场景:
机械人操作(Robot Manipulation)
自动驾驶模拟(Driving Simulation)
航拍/水下/无人机模拟(Aerial / Underwater)
多产品展示
影视制作
恣意多角色组合视频天生
用户只需要给模子一张包括多个物体/角色的首帧,再配一个文本prompt,FFGo就能让模子自动「记着」所有元素并天生交互视频, 且画面一致性、物体身份坚持、行动连贯都很是强,甚至支持「多达5个参考实体同时融合」, 而 VACE/SkyReels-A2限制在3个以内,会直接漏物体。
手艺亮点
用VLM自动构建20–50条高质量训练集
用Gemini-2.5 Pro自动识别远景物体, 用SAM2提取RGBA mask, 自动天生视频文本形貌,构建适配视频模子输入的训练样本, 这大大降低了手工事情量。
使用Few-shot LoRA激活模子「影象机制」
研究发明:
模子自然具备融合多参考物体的能力, 但默认难以「触发」
一段特殊prompt(如「ad23r2 the camera view suddenly changes」)能起到「转场信号」的作用
LoRA学到的不是新能力,而是「怎样触发这些能力」,推理时只需丢掉前4。╓an2.2的压缩。
视频真正的混淆内容在第5帧之后最先。前4帧是压缩帧,直接舍弃即可。
FFGo为什么这么强?
研究职员做了大宗比照实验:? FFGo 能坚持物体身份一致性(Identity Preservation)? 能处置惩罚更多参考工具(5个 vs 3个)? 能阻止大模子微调带来的「灾难性遗忘」? 输出画面更自然、更连贯
特殊是在多物体场景和通用的多物体互动场景下 FFGo的天生效果显著优于VACE和SkyReels-A2。
基础模子无意「乐成」,代表了什么?
在研究FFGo的历程中,有一个特殊要害的实验图示值得单独拿出来说:在无意的、极有数的情形下,Wan2.2原始I2V模子也能完成一次「完善」的使命:
多个参考物体没有消逝
场景转场坚持稳固
行动连贯、身份一致
与文本提醒(例如 wingsuit 航行者与 Cybertruck 贴合运动)高度匹配
若是只看这一组效果,你甚至会以为原始模子自己就具备稳固的多工具融合能力。
但事实恰恰相反,乐成的意义并不在于「基础模子体现很好」,而是在于:基础模子原来就「拥有」这种能力,只是大大都时间无法被稳固激活。
研究团队的洞察在这里被证实:
? 视频天生模子确实会把多个参考实体存进第一帧的内部影象结构中? 视频模子自己能执行「多工具+行动一致」的天生? 但这种行为默认险些不可控、不稳固、难复现
这就像模子体内藏着一块「隐藏 GPU」,无意会亮一下,但你完全不可指望它全天候事情。
FFGo不是教会模子新能力,而是让它「稳固施展」
在上述比照中,FFGo的效果与原始模子的「无意乐效果果」险些一致,这说明:FFGo的LoRA不是在重写模子,而是在激活已有的潜在能力。
换句话说:原始模子=有潜力,但无法一连施展,而FFGo=让潜力酿成稳固能力(且不破损预训练知识)
论文中提到,FFGo能保存原模子的天生质量,而不是像古板大规模微调那样牺牲泛化能力, 没有任何微调可以媲美预训练的数据质量和学习效果。
这个实验也证实晰一件极具革命性的事:首帧自己就具备「看法影象体」的角色、视频模子天生可以做多工具融合、要害只是缺乏一个「触发机制」。
FFGo做的就是:用几十条样本、一个全心设计的转场标记(transition phrase)、Few-shot LoRA,把这种能力重新「开机」,并且让它可控、稳固、可靠。
这也是为什么:FFGo能用20–50个样例,把SOTA模子甩在死后。
这个实验所转达的,实质上就是一句话:视频模子已经足够强,只是我们已往一直没有找到准确的用法。
而FFGo正是在教我们一件事:怎样「准确使用」视频天生模子。
总结
用一句话归纳综合这篇论文的研究意义:它不是让模子学会新能力,而是教我们怎样使用模子已经拥有但从未被准确使用的能力。
研究职员提出了一个极具启发性的未来偏向:
更智慧地使用模子,而不是更暴力地训练模子 用更少的数据、更轻的微调,获得更强的定制能力 把「首帧作为看法影象体」酿成视频天生的新范式
总之,在视频模子中:
第一帧不是起点,而是模子的「影象库」, 视频模子自然具备多工具融合能力
FFGo用极低本钱把这种能力「叫醒」, 不改结构、不必大数据, 仅20–50个例子即可实现SOTA视频定制
实验笼罩机械人、驾驶、影视等多场景, 用户研究中以81.2%票数大幅领先
这篇论文不但是一个手艺突破,更像是翻开了视频天生模子的「隐藏手艺树」。
参考资料:
https://arxiv.org/abs/2511.15700
秒追ASI
?点赞、转发、在看一键三连?
点亮星标,锁定新智元极速推送!
UniV
相关版本
多平台下载
审查所有0条谈论>网友谈论