猫眼影戏
 |
|
猫眼影戏
康瑞鑫
手机审查
猫眼影戏记者 林丹 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查” ，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该 ？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA ？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕 ？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：打屁股视频 网站脱裤子打屁股
??01月21日,第六届福建文创市集登场 剪纸花灯、拓印等文化体验吸睛,
所有人都以为 ，祭灵不可战胜 ，坐等这个孩子被吞食 ，万万没有想到会看到这个令人不敢相信的效果。
,91ios苏州晶体公司。??01月21日,企业家IP是把双刃剑,
(四)妄想建设一批差别名堂、各具特色的“四化”新农村。最近省委、省政府出台了《关于改善农村人居情形的行动妄想》 ，提出到20xx年 ，全省建成1000个以上的漂亮墟落树模村 ，60%以上的墟落抵达情形整齐 ，农民普遍住清静房、喝清洁水、走平展路的目的。要切实抓好这一千载一时的大好机缘 ，凭证妄想先行、因地制宜、有序推进、彰显特色的要求 ，启动新一轮50个“四化”新农村建设试点。所谓妄想先行 ，就是必需制订科学可行的妄想 ，严酷凭证妄想建设 ，杜绝乱修乱建;所谓因地制宜 ，就是要凭证外地现实 ，既要有楼房版 ，又要有平房版 ，既要有新村子 ，又要有在老村子基础上刷新建成的树模村 ，坚决杜绝“一窝蜂”建楼房;所谓有序推进 ，就是要先搞公路沿线和景区周边 ，由外到内 ，纵深推进;所谓彰显特色 ，就是要杜绝衡宇如出一辙 ，充分体现外地特色。
,镜流失去尊严清凉照片壁纸,欧美第一页综合,久久久久久品精影院。??时势2：在线观看免费黄视频网站
??01月21日,天津：五大道上的名人轶事吸引八方游客,
扑面一群人神色都变了 ，他们都是石渊这一脉的强者 ，能有数十位 ，这个要求不可能允许 ，无论怎样也不会交出至尊骨。
,十八岁禁黄网站,美女被 到爽 巨乳视频,део+14一12。??01月21日,香港歌剧院《狮子山下》音乐会首次在青藏高原演出,
学校质量上去了 ，我们的学生和家长是最大的受益者。在这三年来 ，每年的中考和小学升初中的考试中 ，我校均位于区民办学校之首。从考上重点高中的、等同砚现在在高中的效果依然令人兴奋！小学、初中的基础打好了 ，效果一直都会好。
,可以看看黄色视频的网站,欧美视频观看黄色,欧美一级婬片AAA精品。??时势3：黑人AAAAAAAA毛片
??01月21日,中国核电站废水氚含量高于福岛核污染水？中方：二者有本质区别,
十五爷的强盛在皇都是出了名的 ，两箭射死一头远古遗种——鸾鸟 ，谁能做到 ？一身修为震天动地！
,国产丝袜无码,欧洲熟妇另类XXXXX,久久久激情视。??01月21日,“一人食”爆火的背后,
抹不去你渗透的汗水 ，
,办公室撕开奶罩 吮奶明星,很黄很黄的三级性生活视频,欧美老妇乱熟。??时势4：成 人免费在线视频
??01月21日,法资企业在北京经开区多领域加速布局,
狈风与小不点对决 ，一个动用了宝具 ，另一个则使用原始宝术 ，绚烂的光雨飞洒 ，铿锵的声音一直 ，整片山林都在颤抖。
,日本超碰在线,高亲毛片网址,✳黄视频免费版官方版。??01月21日,6G发展进入关键窗口期,
这几年来先是有惊世的肉身至宝狻猊遗体 ，再有这么一头非凡的祭灵 ，它们的血肉蕴含了太多的神性英华 ，极大的改善了他们的体魄。
,女儿调教妈妈黄片视频,国产精品下药在线观看,狠狠操人人操人人操人人。【让春运自驾之路更畅通】
责编：庄德水
审核：崔方
责编：习相远
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
