首页
这项由浙江大学ZIP实验室的李小龙、谷友平、林希、王伟杰和庄博涵配合完成的研究揭晓于2025年12月,论文编号为arXiv:2512.04025v1,为视频AI领域带来了一项主要突破。有兴趣深入相识的读者可以通过该编号盘问完整论文。
要明确这项研究的主要性,我们得先从一个一样平常体验提及。当你用手机看高清视频时,是否注重过有时间加载很慢,或者电池消耗特殊快?这背后的缘故原由,就是处置惩罚视频对盘算机来说确实是一件"重体力活"。现在的AI模子在明确和天生视频时面临着一个重大的挑战:盘算量太大了。就好比要一小我私家同时记着一本小说的每个字、每个标点符号,然后还要明确整个故事情节一样难题。
古板的AI处置惩罚视频时,接纳的是"全注重力"机制,这就像是一个极端专注的学生,对课本上的每一个字都投入同样的精神去明确。这种要领虽然准确,但效率极低。好比处置惩罚一段720p、81帧的视频时,使用Wan2.1-14B模子在单个NVIDIA H20 GPU上需要近两个小时,而其中80%以上的时间都花在了注重力盘算上。这种效率显然无法知足现实应用的需求。
为相识决这个问题,科研界提出了"希罕注重力"手艺,就像是让学生学会"重点阅读"——只关注主要的部分,忽略不主要的内容。现在主流的要领是"块希罕注重力",它把视频内容分成许多小块,然后用简朴的"要或不要"来决议是否处置惩罚每个块。这就像用一把粗糙的筛子来过滤信息,虽然速率快了,但在高希罕度(也就是扬弃大宗信息)的情形下,主要信息也会被误删,导致质量下降。
浙江大学的研究团队提出了一个巧妙的解决计划:金字塔希罕注重力(PSA)。这个要领的焦点头脑可以用视察景物来比喻。当你站在山顶俯瞰山下的都会时,你会自然地对差别距离的事物接纳差别的视察精度:近处的修建你能看清每扇窗户,中等距离的你能区分出修建轮廓,远处的可能只能看到一片朦胧的色彩。PSA就是模拟了这种人类视觉的自顺应机制。
这种要领的巧妙之处在于,它不再简朴地"要或不要"某个信息块,而是凭证主要性给每个信息块分派差别的"视察精度"。关于主要的部分,它会坚持高精度的处置惩罚(就像仔细视察近处的景物);关于次主要的部分,它会适度降低精度(就像简陋视察中距离的景物);关于最不主要的部分,它会大幅降低精度或者完全忽略。
详细来说,PSA构建了一个多条理的"金字塔"结构。在这个金字塔中,底层坚持原始的高区分率信息,而每向上一层,信息就会通过平均池化变得越发粗糙。研究团队发明,相邻的视频帧在内容上往往很相似,这为这种分层处置惩罚提供了理论基础。通过巧妙的主要性评估和多条理掩码天生,PSA能够为每个盘问动态分派最合适的处置惩罚层级。
为了确保这种要领在现实硬件上也能高效运行,研究团队还开发了一个硬件友好的内核设计。他们接纳了"解耦块-瓦片"设计,将逻辑块巨细与硬件瓦片巨细疏散,这样纵然处置惩罚的信息块巨细各不相同,也能坚持高效的GPU使用率。这种设计在NVIDIA H200上相比质朴实现能够抵达10倍的加速。
实验效果令人印象深刻。在视频明确使命中,使用Qwen2.5-VL模子在Video-MME数据集上的测试显示,PSA在坚持与全注重力相当准确度的同时,将盘算量降低到了原来的35%。在视频天生使命中,PSA在多个模子上都体现精彩。以Wan2.1-1.3B模子为例,在高达91%的希罕度下,PSA天生的视频在PSNR、SSIM等要害指标上都显着优于其他希罕注重力要领,同时在VBench评分的美学质量、配景一致性等方面也体现更佳。
特殊值得一提的是,PSA还能与其他优化手艺很好地连系。研究团队将PSA与TDM蒸馏框架连系,在CogVideoX-5B模子上实现了30倍的推理加速,同时VBench评分甚至凌驾了原始模子。这批注PSA不但是一个自力的优化计划,更是一个可以与其他手艺协同事情的通用?。
从手艺实现角度来看,PSA包括三个焦点组件。首先是金字塔KV块构建,通过渐进式池化建设多条理体现。其次是多条理掩码天生器,它能够凭证盘问-键块对的主要性动态分派处置惩罚层级。最后是自顺应金字塔注重力盘算,在包管概率漫衍一致性的同时高效盘算注重力权重。
研究团队还举行了详尽的消融实验来验证设计选择的合理性。他们发明,多条理掩码相比古板二进制掩码能够显著提升性能;基于阈值的掩码分派战略比基于分位数的战略越发无邪有用;余弦相似性约束能够进一步提升模子在特定使命上的体现。这些实验效果为PSA的设计提供了坚实的理论支持。
更令人兴奋的是,PSA展现出了极强的通用性。它既可以应用于因果注重力场景(如视频天生),也可以用于双向注重力场景(如视频明确)。这种无邪性使得PSA成为了一个真正的"即插即用"?,可以轻松集成到现有的种种视频AI系统中。
从更宏观的角度来看,PSA代表了希罕注重力手艺的一个主要生长偏向。它证实晰在盘算效率和质量之间并非只有简朴的取舍关系,通过更细腻的设计,我们可以在大幅提升效率的同时坚持甚至提高输出质量。这为未来的视频AI应用,特殊是实时视频处置惩罚、移动端视频天生等场景提供了新的可能性。
说究竟,这项研究的价值不但在于解决了目今视频AI面临的盘算瓶颈,更在于它为整个领域提供了一个新的思索框架。通过模拟人类视觉系统的自顺应处置惩罚机制,PSA展示了怎样在人工智能系统中实现越发智能化的资源分派。随着视频内容在我们一样平常生涯中的主要性一直提升,这种高效的处置惩罚手艺将为更多立异应用铺平蹊径,让通俗用户也能享受到更流通、更智能的视频AI体验。关于那些希望深入相识手艺细节的读者,可以通过论文编号arXiv:2512.04025v1查阅完整的研究报告。
Q&A
Q1:金字塔希罕注重力相比古板要领有什么优势?
A:金字塔希罕注重力的最大优势是能够凭证信息主要性分派差别的处置惩罚精度,而不是简朴的"要或不要"。这就像用差别倍率的望远镜视察差别距离的物体,既包管了主要信息的清晰度,又大幅降低了盘算量。实验显示它能在91%希罕度下仍坚持优异的视频天生质量。
Q2:金字塔希罕注重力能用在哪些现实应用中?
A:这项手艺可以普遍应用于视频明确和天生使命中,包括手机上的视频编辑、实时视频通话、短视频平台的内容天生、安防监控的智能剖析等。特殊是在移动装备上,它能显著降低电池消耗和发热,让用户获得更流通的视频AI体验。
Q3:通俗用户什么时间能体验到金字塔希罕注重力手艺?
A:虽然这项手艺现在主要在学术研究阶段,但其"即插即用"的设计特点使得它很容易集成到现有的AI视频系统中。预计在不久的未来,各大科技公司会将类似手艺应用到消耗级产品中,用户可能会在视频编辑App、智能手机相机功效等应用中体验到这种手艺带来的性能提升。
《肏逼网站》,《Q8X2R7L1T4J5M9B6W3》www.色色吆
“亚洲精品国精品久久99热一”
aa情趣大片
……
12月09日
“999啪啪免费视频”RNG 1-1 EDG
↓↓↓
12月09日,第二届海峡两岸暨港澳地区舞龙舞狮大赛在福建漳平举行,国产免费观看下载AV大片的网站,打大雷,毛色黄片,一级A片女人18
12月09日,受贿1.08亿余元!广东省人大常委会原副主任陈如桂一审被判无期,chinese农村性爱视频,www.噜噜噜,日韩哦美在线视频,先锋影音AV不鲁321资源
12月09日,融通旅发集团推出“缘月”“福月”中秋礼盒 为市场添红为传统增色,亚洲AV无码秘 蜜桃枫花恋,精品乱子伦一区二区三区掼蛋,91 尤物 AV 在线播放,综合网毛片
12月09日|一个“印刷签名”溢价400,酱香“梅西”难上头|一小孩把鸡巴喂给姐姐|欧美日韩女人在线一区二区|金谷うの在线人妻magnet|郊外野战A片视频在线观看
12月09日|冰岛火山在城镇附近喷发 居民被疏散|黑人粗硬大欧美在线视频免费|差差答答网页版|久久久99无码一区|一级毛片免费视频在线
12月09日|中国努力变“废地”为良田|Aaa级黄色录象片|久久免费肉丝足交不卡视频|91干逼网|直接观看免费黄色视频……
12月09日,海警法施行三周年:海上接处警45701起 侦破走私案件1803起,欧美亚洲日韩国产视性色,巨乳被,最全精品自拍视频在线,黄片毛片看毛片毛片看毛片看毛片
12月09日,“三文鱼”山中来?太行山里的“海之味”,偷拍伦伦,高跟帮你打脚枪,白鹿被c 到爽的视频,黄色网站大片儿
12月09日|中国下调成品油价 多地92号汽油将重回“7元时代”|美女毛片公司网站|偷拍自怕24Pwww|五月丁香婷婷美女|泡芙视频 黄秘
12月09日,“人从众”模式开启!中国航展开幕首日兵器馆人气爆棚,日韩在线欧美,www.qq7773.com,天天欧美色干,小南同人漫画免费观看阅读
12月09日,“五一”餐饮市场火热 外卖成餐饮企业营收上涨重要渠道,精品偷拍.com,彩虹资源G头条,色五月黄色视频,亚洲黄色视频图
12月09日,储蓄国债“一债难求”?财政部回应:核心就是需求旺盛,www.48dvcom,三级片视频网站进入,18禁 流浆 水直播,37a8.㏄
12月09日|吴谢宇被执行死刑|日韩免费试看视频|国自拍小视频在线观看视觉|在线观看永久人成不卡|日本乱子精品的A片视频
12月09日|拎稳“菜篮子” 鼓起“钱袋子”(办实事 解民忧·一线探落实)|先锋资源黄色网址|怡红院亚洲综合久久九九九|××× 在线观看|网上又爽又黄A片免费视频
12月09日|广西桂林新建净瓶山大桥首幅箱梁合龙|黃色成人 JVD|动漫无码番肉18 魅魔链接|男生坤怼女生坤免|亚洲国产精品日韩专区A∨
摊贩6两蓝莓当1斤卖 大理市监局通报,叙政府军失守战略重地哈马|陈海泉:新加坡与海南的合作具有良好协同效应|动漫美女18禁网站|宋雨琦 自慰裸乳|26uuuu欧美|18岁以下禁止观看黄色视频免费网站
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺
进博会上的华商——助力海外产品与中国市场更快更好“相遇”(侨界关注)
国台办:赖清德当局如继续在“台独”邪路上冒进 必将给台湾民众带来更大伤害
星火成炬 | 幸福 无限蔓延 上海签发粤港澳大湾区外首张赴港澳人才签注
香港举行2024“范长江行动”总结分享会暨颁奖典礼
中国用事实揭穿西方“中国威胁”谎言
广西梧州:朝霞映照 码头景美
【行藏西 看阿里】河北援藏:十年守护只为阿里妇幼健康
前5月湖南城陵矶口岸进口汽车1221辆 超去年全年进口量
中华老字号(山东)博览会特设中医药展区 养生类产品受追捧
西湖遇见敦煌 94岁“敦煌少女”常沙娜新书杭州首发
宁荣荣含精肉臀迎合娇喘视频
精品女厕偷拍一区二区
男同露大jiji 秘 黄网
黄色一级免费
cao哭美女在线播放
小18箩利洗澡无码视频网站
免费观看学生黃色A片
亚洲欧美在线天堂
99riav在线看
美女免费看

闽公网安备 35010302000113号