首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大 。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的 。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token 。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低 。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上 ，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好 。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固 。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《91福利视频》 ，《Q8X2R7L1T4J5M9B6W3》极品美女露出奶头扣着小穴
“国产亚洲色视频在线”
粗大猛进高潮在线观看
……
01月16日
“男人天堂www在线”奥特曼全形态皮套颜值竞选
↓↓↓
01月16日 ，龟兹文化“刻”入铜器 新疆匠人兄弟传承老手艺 ，一个色综合网站 ，91免费偷拍视频网站 ，路易斯拔萝卜 ，朱竹清被狂揉下部 拔萝卜漫画
01月16日 ，亚洲杯国足0：1不敌卡塔尔 排名小组第三出线待定 ，怎么扣币最爽 ，黄色网站免费性爱视频 ，给你扣扣 ，国产真实迷奷系列在线播放免费
01月16日 ，“沙里掘金” 片片沙地变身产业聚集“聚宝盆” ，美女扒开尿囗给男人爽的视频网站 ，亚洲第一页视频在线 ，小南爆乳被 ，久久99国产精品粗硬长
01月16日|全球城市发展呈何趋势？国际最新研究称越来越高超过越来越大|jizz国产激情黄色片|男女福利网站|国产一国产一级毛片视频美国|国产精品99r
01月16日|“金”点子“燃”动文旅新活力|国产精品刺激A级毛片一区二区|不卡综合在线|BBBXX╳外国|国产日韩成网站在线观看
01月16日|甘肃：力争到2030年全省67%以上可治理沙化土地得到治理|白腿学姐浴室娇喘呻吟h|国产精品网址在线观看你懂的免费|天天操狠狠干天天日|欧美一级另类孕妇视频……
01月16日 ，从加拿大到杭州：一场跨越46年的视频通话 ，国产老熟女毛片视频 ，欧美老熟女黄片 ，国产免费av基地 ，男生女生一起差差差30分钟
01月16日 ，贵州“最美农村路”：缩短城乡距离 带动旅游产业发展 ，91在线精品国产丝袜TV ，最新黄色网址 ，毛片三级电影 ，一级生活片免费的视频观看
01月16日|要将“为学”与“成人”有机结合|久草久草久|人人九九|欧美最新黄色网页|18xxxxx
01月16日 ，致青春 致奋斗——甘肃森林消防献给五四青年节 ，黄色视屏男舔女 ，ChinaMather乱熟 ，宝贝c我想摸你奶让我揉揉视频 ，俄罗斯人性交
01月16日 ，河南焦作一仓库发生火情 无人员伤亡 ，四影虎院2024新地址wwe ，农村女人一级毛片20岁的 ，京东热视频在线免费观看 ，欧美双性人妖 O0
01月16日 ，2024年汉诺威工博会开幕 聚焦可持续工业解决方案 ，一级无码国产精品 ，97一本二区黄色网站 ，亚洲91精品 ，youxui666.哆哆
01月16日|广州出台共有产权房回购指南|国产乱伦对白刺激视频|黄色网站免费看现看啊啊啊|成 人 免 费 观看网站|26uuu偷拍视频
01月16日|日本队3：1战胜巴林晋级八强 铃木彩艳再现巨大失误|亚洲成色kkk4444|影音先锋日韩资源|啪啪啪网战|激情五月综合欧美视频
01月16日|2024年，你走进了几次电影院？|欧美福利视频呦呦|欧美最大的黄色网站|啪啪啪激情影院|17c丨九色丨白浆秘 小青龙
全红婵陈芋汐出战10米台决赛 ，黑社会的我成为了高中生|王毅同埃及外长舒凯里举行会谈 双方就巴以冲突深入沟通|人人操人人添人人插人人摸|黄色视频美国|虎狼和肥岳的区别|蕾丝视频满i8进入i3秒进入7y7y
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
福建宁德侨界举办迎新春联络联谊活动
沈阳培育特色夜经济消费场景 推动消费载体升级
上海“宝宝屋”成社区托育新亮点
标准引领，推动产品升级绿色转型（深入开展“两新”工作 着力扩大国内需求）
两岸外贸和物流专家厦门共探经贸合作新机遇
特朗普提名沃伦·斯蒂芬斯担任美国驻英国大使
白鹭蹁跹新疆铁门关市黄水渠湿地
福建泉州：外出露营突遇暴雨 5名被困人员激流中获救
联合国秘书长：152名联合国工作人员在加沙丧生，但救援未停
暧暧远人村｜杭州富阳东梓关村：“富春山居图”照进现实 千年古村写下诗意新篇
欧美性交免费在线看
毛片毛片毛片真正的毛片
国产高清无码网址
国产哟交资源在线看
男女XXOO GIF出处抽搐
女生吃坤坤
美国牲交
操湿骚女视频
黑人又粗又长又硬完整版视频
免费高清无码网址
闽公网安备 35010302000113号