猫眼影戏
猫眼影戏
何海龙
手机审查
猫眼影戏记者 燕帅 报道Q8X2R7L1T4J5M9B6W3
新智元报道
编辑:LRST
【新智元导读】最新要领FFGo改变了我们对视频天生模子中第一帧的明确。第一帧并非简朴起点,而是模子的「看法影象体」,存储了后续画面的视觉元素。FFGo通过少量样本和特殊训练,激活模子的这种能力,实现高质量的视频定制,无需修改模子结构或大宗数据,为视频天生开发了新偏向。
在Text-to-Video / Image-to-Video 手艺突飞猛进的今天,我们已经习惯了这样一个知识:
视频天生的第一。‵irst Frame)只是时间轴的起点,是后续动画的起始画面。
但马里兰大学、南加利福尼亚大学、麻省理工学院的最新研究发明:第一帧的真正角色完全不是「起点」,它着实是视频模子的「看法影象体」(conceptual memory buffer), 所有后续画面引用的视觉实体,都被它默默贮保存这一帧里。
论文链接:https://arxiv.org/abs/2511.15700
项目主页:http://firstframego.github.io
该研究的起点,源于对视频天生模子中一个普遍保存但尚未被系统研究的征象的深入思索。
论文的焦点洞察很是大胆:视频天生模子会自动把首帧中的角色、物体、纹理、结构等视觉实体,所有「记着」,并在后续帧中一直复用。
换句话说,岂论你给几多参考物体,模子都会在第一帧悄悄把它们打包成一个「看法蓝图(blueprint)」。
研究者用Veo3、Sora2、Wan2.2等视频模子测试发明:
若首帧泛起多工具组合, 在很少的情形下,通过使用特殊的转场提醒词 ,模子在后续帧里能自然融合它们, 甚至能支持跨场景转场、坚持角色属性一致;
可是这个神奇的转场提醒词 关于每个模子,每个要天生的视频都是纷歧样的,并且模子在转场融合多物体后常;岜⑽锾,场景一致性损失,或者物体丧失的问题。
这说明:
? 第一帧是模子「影象」外来参考的地方
? 但默认情形下,这种能力「不稳固、不可控」
FFGo要领
不改结构、不大规模微调,只用20–50个例子就能让任何预训练的视频模子变身强盛的「参考图驱动视频定制系统」。
研究者基于这个洞见提出了一套极其轻量的做法 :FFGo。
要害优势震撼整个行业:
? 不修改任何模子结构? 不需要百万级训练数据? 只需 20–50 个 carefully curated 的视频例子? 几个小时的 LoRA 训练? 就能实现SOTA级别的视频内容定制
这在现有要领中险些是不可想象的。
研究职员列出了6大应用场景:
机械人操作(Robot Manipulation)
自动驾驶模拟(Driving Simulation)
航拍/水下/无人机模拟(Aerial / Underwater)
多产品展示
影视制作
恣意多角色组合视频天生
用户只需要给模子一张包括多个物体/角色的首帧,再配一个文本prompt,FFGo就能让模子自动「记着」所有元素并天生交互视频, 且画面一致性、物体身份坚持、行动连贯都很是强,甚至支持「多达5个参考实体同时融合」, 而 VACE/SkyReels-A2限制在3个以内,会直接漏物体。
手艺亮点
用VLM自动构建20–50条高质量训练集
用Gemini-2.5 Pro自动识别远景物体, 用SAM2提取RGBA mask, 自动天生视频文本形貌,构建适配视频模子输入的训练样本, 这大大降低了手工事情量。
使用Few-shot LoRA激活模子「影象机制」
研究发明:
模子自然具备融合多参考物体的能力, 但默认难以「触发」
一段特殊prompt(如「ad23r2 the camera view suddenly changes」)能起到「转场信号」的作用
LoRA学到的不是新能力,而是「怎样触发这些能力」,推理时只需丢掉前4。╓an2.2的压缩。
视频真正的混淆内容在第5帧之后最先。前4帧是压缩帧,直接舍弃即可。
FFGo为什么这么强?
研究职员做了大宗比照实验:? FFGo 能坚持物体身份一致性(Identity Preservation)? 能处置惩罚更多参考工具(5个 vs 3个)? 能阻止大模子微调带来的「灾难性遗忘」? 输出画面更自然、更连贯
特殊是在多物体场景和通用的多物体互动场景下 FFGo的天生效果显著优于VACE和SkyReels-A2。
基础模子无意「乐成」,代表了什么?
在研究FFGo的历程中,有一个特殊要害的实验图示值得单独拿出来说:在无意的、极有数的情形下,Wan2.2原始I2V模子也能完成一次「完善」的使命:
多个参考物体没有消逝
场景转场坚持稳固
行动连贯、身份一致
与文本提醒(例如 wingsuit 航行者与 Cybertruck 贴合运动)高度匹配
若是只看这一组效果,你甚至会以为原始模子自己就具备稳固的多工具融合能力。
但事实恰恰相反,乐成的意义并不在于「基础模子体现很好」,而是在于:基础模子原来就「拥有」这种能力,只是大大都时间无法被稳固激活。
研究团队的洞察在这里被证实:
? 视频天生模子确实会把多个参考实体存进第一帧的内部影象结构中? 视频模子自己能执行「多工具+行动一致」的天生? 但这种行为默认险些不可控、不稳固、难复现
这就像模子体内藏着一块「隐藏 GPU」,无意会亮一下,但你完全不可指望它全天候事情。
FFGo不是教会模子新能力,而是让它「稳固施展」
在上述比照中,FFGo的效果与原始模子的「无意乐效果果」险些一致,这说明:FFGo的LoRA不是在重写模子,而是在激活已有的潜在能力。
换句话说:原始模子=有潜力,但无法一连施展,而FFGo=让潜力酿成稳固能力(且不破损预训练知识)
论文中提到,FFGo能保存原模子的天生质量,而不是像古板大规模微调那样牺牲泛化能力, 没有任何微调可以媲美预训练的数据质量和学习效果。
这个实验也证实晰一件极具革命性的事:首帧自己就具备「看法影象体」的角色、视频模子天生可以做多工具融合、要害只是缺乏一个「触发机制」。
FFGo做的就是:用几十条样本、一个全心设计的转场标记(transition phrase)、Few-shot LoRA,把这种能力重新「开机」,并且让它可控、稳固、可靠。
这也是为什么:FFGo能用20–50个样例,把SOTA模子甩在死后。
这个实验所转达的,实质上就是一句话:视频模子已经足够强,只是我们已往一直没有找到准确的用法。
而FFGo正是在教我们一件事:怎样「准确使用」视频天生模子。
总结
用一句话归纳综合这篇论文的研究意义:它不是让模子学会新能力,而是教我们怎样使用模子已经拥有但从未被准确使用的能力。
研究职员提出了一个极具启发性的未来偏向:
更智慧地使用模子,而不是更暴力地训练模子 用更少的数据、更轻的微调,获得更强的定制能力 把「首帧作为看法影象体」酿成视频天生的新范式
总之,在视频模子中:
第一帧不是起点,而是模子的「影象库」, 视频模子自然具备多工具融合能力
FFGo用极低本钱把这种能力「叫醒」, 不改结构、不必大数据, 仅20–50个例子即可实现SOTA视频定制
实验笼罩机械人、驾驶、影视等多场景, 用户研究中以81.2%票数大幅领先
这篇论文不但是一个手艺突破,更像是翻开了视频天生模子的「隐藏手艺树」。
参考资料:
https://arxiv.org/abs/2511.15700
秒追ASI
?点赞、转发、在看一键三连?
点亮星标,锁定新智元极速推送!
UniV
??时势1:激情九九黄色视频
??12月04日,国务院关于《宁波市国土空间总体规划(2021—2035年)》的批复,
“好大的鸟窝。 逼ず镌尢。
,男人天堂新地址。??12月04日,超越日本!中国成最大汽车出口国,
而让人更为震撼的是,谁人孩子竟然盖住了,正在硬撼宝具,铿锵作响,震的四野都在动荡。
,原神涩涩,野外性XXⅩXX大少妇,99pao人妻免费打造。??时势2:女生坤免费直看
??12月04日,湖北对共建“一带一路”国家进出口规模创新高,
所有这一切都爆发在电火石花间,两富家长一个被击杀,一个被俘,而另外的两处攻击也仅是刚爆发罢了。
,国产一区鲁鲁在线视频免费播放,女人被弄到高潮的免费视频,好爽黄色视频。??12月04日,中新网拟换发第七版新闻记者证人员名单公示,
这名头领的脸连忙就变形了,被踩成了烂西瓜。
,中文字幕 免费在线,一级无码毛片视频男人的天堂,久久久久国产精品全免费。??时势3:1一5集国语版在线观看
??12月04日,庐山脚下的千年石岛落星墩"水落石出”(高质量发展调研行)浙江桐庐深澳村:品味非遗之韵,
数百头强盛的凶兽厮杀,尚有上百只凶禽拍击铁翅,什么都剩不下,连许多山石都崩碎了,一片散乱。
,PH破解版破解免费ios版下载,午夜影院性生活,亚洲黑人巨大ViaeOs。??12月04日,传承红色基因 浙江桐乡系列活动纪念张琴秋诞辰120周年,
他虽然善良,但并不怯弱,敢作敢为。
,貂蝉奖励自己核心提示,快鸭加速器,超碰三级黄色网站。??时势4:欧美午夜大片性视频
??12月04日,宋涛会见美国外交政策全国委员会代表团,
(二)坚持高标准建设,一直完善都会功效。一要树立精品意识,以后都会的各项建设都要全心设计、全心建设,争创一流水平。尤其是沿街修建要认真把关,坚决榨取建设低水平的沿街房。要鼎力大举推广新设计、新标准、新工艺、新手艺,提高都会建设的科技含量。都会的旧区刷新要与新区建设相连系。新区建设要坚持先地下、后地上,统一妄想、统一设计、统一配套建设。要注重都会景观的整体效果,新建的每个组团、每个区片、每条街道、每幢修建都要做到与历史文化风貌、与自然生态情形协调统一,注重修建造型、色彩、气概的协调一致,吸收海内外修建英华,全心设计,制作富有沂蒙特色的修建精品,要形成富有现代化气息的都会景观。旧区刷新,要坚持情形效益、社会效益、经济效益的统一,凭证"严酷;,统一治理,合理开发,永续使用"的原则,准确处置惩罚好新与旧、;び虢ㄉ璧墓叵,;ず枚蓟岬睦肺幕糯,;ず美酚乓煨藿捌渲芪У恼蹇占淝樾,以延续历史文脉、体现历史古板风貌特色,坚决阻止超强度、高密度开发。要树立久远看法,以对历史认真、对子孙子女认真的态度,妄想建设好每个建设项目,不留遗憾,不当历史罪人。二要突出都会建设重点。目今,都会建设的重点是改善群众栖身条件,提高群众生涯质量,完善都会综合效劳功效。在都会建设中,要把好钢用在刀刃上,把有限的资金投在改善群众栖身条件,完善都会功效的建设项目上。要牢牢围绕提高群众的生涯质量,重点抓好面向中低收入家庭的经济适用房建设和危旧房刷新。牢牢围绕完善都会功效,重点增强蹊径交通、供水排水、燃气热力、污水和垃圾处置惩罚、河流整治等。要高度重视公共文化设施建设,提升都会文化品位。三要塑造优异的都会生态情形。都会建设要坚持"以人为本"的头脑,以相宜"人居"为目的,一直提高情形质量。要树立"情形"就是生产力的看法,做到都会建设从量的扩展转向质的提高。要抓好都会的公共绿地建设,一直提高都会绿化水平。以后的都会建设,要做到还空间给黎民,建绿地给市民,凭证先城内后城郊、先造绿后造景的原则,抓好都会园林绿地、栖身区绿地、蹊径两侧绿化带和大情形绿化,真正让都会绿起来。在新区建设中,绿地率必需抵达30%以上,在旧区刷新中,绿地率必需抵达25%以上。要严酷执行绿线管制和绿色钤记制度,以包管凭证这一目的要求举行建设。要抓好都会供水净化处置惩罚和污水集中处置惩罚工程建设,一直提高供、排水能力。要起劲推行都会供排水一体化运营治理。落实节水步伐,起劲推广节水用具,加速都会供水净化处置惩罚工程、污水集中处置惩罚工程、排水设施工程、中水回用设施工程建设,提高水资源使用率。20xx年前,每个县城都必需建设一处污水处置惩罚工程。要实验都会清洁工程,科学妄想、合理布点,搞好垃圾转运站建设,逐步镌汰影响市容的垃圾方箱,每个城镇都要凭证垃圾的产量,妄想建设垃圾无害处置惩罚工程,变废为宝,逐步解决垃圾对都会的污染问题。要实验绿色能源战略,加速都会的集中供热、管道燃气工程建设,镌汰烟尘污染,改善大气情形。在行政办公区和栖身区禁绝有污染企业保存,老城区有污染的企业要通过旧城刷新,合理结构,尽快搬家。以后要严酷控制有污染企业的生长,坚决榨取新上污染企业,切实将人为污染源彻底根除。对临沂城妄想区内及城郊的小板厂、小窑厂、小锅炉,三区政府要实验关治并举,通过相对集中,实验集中供热、集中供气等步伐,尽快解决临沂城的大气污染问题。要注重都会景观建设。不但要把都会的路通起来,把地绿起来,把水清起来,把气净起来,还要把灯亮起来,把景美起来。在都会建设中要全心设计塑造富有沂蒙特色的都会景观。要特殊注重标记性修建、标记性景观建设,形成奇异的都会"手刺"。
,午夜丝袜小说视频自拍偷拍,欧美色欲亚洲A片,有欧美:日韩一级黄片免费看:。??12月04日,高原医学研究中心在青海启动,
责编:胡才勇
审核:奥莱利
责编:缪楚黄
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话:0531-85193202 违法不良信息举报电话:0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1