猫眼影戏
 |
|
猫眼影戏
代世伟
手机审查
猫眼影戏记者 李金斗 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：亚洲少妇诱惑色图
??01月20日,“创业展未来·粤港澳大湾区青年创业资助计划”总结会在港举行,
着实，只要我们在生涯中注重种种游水、戏水事项，提高清静提防意识，学会在遭遇溺水时明确怎样自救和他人遭遇溺水时怎样抢救，溺水事务照旧可以避免的 。
,17C在线观看免费高清电视剧最新版下载 。??01月20日,国台办：民进党当局妄想给正义行动“划线设禁”是不自量力,
一、要相识和熟悉情形 。当你走进阛阓、宾馆、酒楼、等公共场合时，要留心太平门、清静出口、灭火器的位置，以便在爆发意外时实时疏散和灭火 。
,国产日韩欧美,偷拍免费福利性爱视频,人人操人人,人人摸人人 。??时势2：亚洲品质自拍视频网站
??01月20日,山东荣成：海潮景观吸引游客,
青鳞鹰俯冲，再次朝着石山而来，它是山脉外围区域的顶级掠食者，自然可以睥睨群兽 。
,欧美 XXXX888-百度,俄罗斯成人性交XXXXX,好儿媳5中汉字官方版下载 。??01月20日,张国清将访问伊朗,
小不点并不气馁，站起身来，双手如铁钳般，捉住岩石，闭住呼吸，向上攀缘，一步一步，极其艰难 。
,巜裸体舞会台湾DVD,AV成年女人毛片,久久精品国产99国产毛片 。??时势3：三亚免费观看视频播放平台
??01月20日,国际园艺生产者协会秘书长：在中国看到可持续发展承诺的践行,
“这么强盛的宝具，周遭五万里内第一祭灵的遗蜕，竟然只配做起养料？！”人们害怕 。
,a在线视频播放观看免费观看,一级美女a视频,医生扒开腿用黄瓜把我弄高潮了 。??01月20日,美国解禁乌克兰“亚速营”使用美制武器 俄方发声,
2、千原理，万原理，落实好了就是硬原理 。狠抓落实是我们的天职，只有落实好了，才华推行好我们的职责，体现历史付与我们的神圣使命 。办教育不要眼能手低，不要说空话、假话，不要做不切合现实的事，不要违反教育纪律做事，任何有价值的工具和履历都是从课堂教学中来，到课堂教学中去，我们必需大兴调研之风、务实之风、学习之风，才华在抓落实中不走弯路、绕路，抵达事半功倍的效果 ？С醯较衷，中心学校安排了许多事情，每所学校都落实得较量到位，特殊是校园文化、宿舍文化都高标准、严要求，准时、按质、按量地美化了学生宿舍，安科村完小使用国庆长假完成了校园文化建设，规格很高，充分体现情形育人的功效 。边远山区学校要搞好校园文化建设和学生宿舍美化需要支付许多，只管难题重重，照旧准期完成，真正做到了“只为落实想步伐，不把难题当捏词” 。责任是学校生长最深的动力，我们必需清晰地意识到我是做什么的?应该怎么做?做到什么水平?才会在抓落实中体现我们肩上的责任和担子，我们没有更大的权力，只有一份沉甸甸的责任，为这一份责任必需政令流通，落实到位，学校事情才华按章有序顺遂举行 。落实好了，就是生长好了，落实好了，就是效益好了 。
,天天干狠狠草天天爽,想叉叉,十八禁免费网站在线观看 。??时势4：黑人巨鞭躁女子大哭
??01月20日,京沪鲁携手开展核能公众沟通 激发年轻人对“硬核”知识的兴趣,
风声咆哮，青色鳞片在云层中闪过，这头拥有智慧的生命何尝不知，但照旧很审慎与小心，盘旋了片晌才俯冲下去 。
,日本黄色免费网站在线观看,欧美性爱xxⅩx,麻豆国产91 在线播放 。??01月20日,中国年涌动新商机 海内外电商“龙”元素火爆,
作为一名年轻人，我乐于展示，盼愿竞争 。同时将以越发沉稳平实的心态、义无返顾的勇气以及亘古未有的激情，迎接竞争的挑战，接受精神的洗礼 。谢谢
,,在线观看黄色网址,美老牛逼逼,911国产自产第一 。【2023年乌鲁木齐国际互换局共处理国际邮件逾740万件】
责编：罗宝线
审核：杨朋趁
责编：苏塞克
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
