猫眼影戏
 |
|
猫眼影戏
切尼
手机审查
猫眼影戏记者 周俊生 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的 。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：激情视频人网站
??01月17日,（文化中国行）天下三分明月夜 文脉活化看扬州,
那如小山般的兽尸堆已经被狈村的人搬走，一无所有，石林虎等人赶到这里后咬牙切齿，真的是欺人太甚，村人辛勤打到手的猎物就这样被抢走了 。
,三级片视频国产 。??01月17日,联合国称加沙地带逾2.3万名巴勒斯坦人死亡 以色列在国际法院否认南非指控,
一要鼎力大举生长现代农业 。 生长现代农业对实现 “ 四化同步 ” ，增进城乡统筹具有主要意义 。我们要抢抓政策机缘，驻足区情现实，施展较量优势，彰显生态特色，完善基础设施，健全效劳系统，推进重点项目，注重树模发动，着力在打造精品特色农业、生态循环农业、休闲旅行农业和设施高效农业上下功夫 。要凭证聚焦项目，突出生态，立异效劳，高效推进的要求，起劲把雨山现代农业树模园打造成现代农业集聚区、优美墟落树模区、立异生长实验区和城乡统筹先导区，力争在全市走前线、在全省创一流、在天下有影响 。要深入推进新型农业谋划系统刷新，健全完善农村产权典质贷款机制，探索建设农村土地谋划权、宅基地使用权、衡宇所有权自愿退出和有偿转让机制，健全农村土地流转效劳系统，增强土地流转治理，着力 构建集约化、专业化、组织化、社会化相连系的新型农业谋划系统 。
,性爱一级A片,超碰超超碰色悠,日本黄页永久免费观看 。??时势2：王语纯周于希互慰
??01月17日,受大风影响 青海湖冰面开裂,
先生们、同砚们，"风正潮平，自当扬帆破浪;任重道远，更需策马扬鞭 。"机缘总是看重那些有准备的人，在新的一学年里，衷心希望全校师生荣校修身，笃学致远，追求卓越，驻足新起点，迎接新挑战，创立新绚烂 。最后，祝全体先生身体康健，事情顺遂!祝全体同砚学习前进，快乐生长!祝我们的学校欣欣向荣,蒸蒸日上!
,久久久精品中文字幕加勒比,国产第一页浮力影院草草草草影院,网站在线播放你懂的 。??01月17日,内蒙古乌兰牧骑赴贵州参加“姑妈篮球赛”,
“疼！”小不点高声痛呼，眼中充满恐慌，怎么也没有想到会被这样看待，他照旧一个八九个月的幼儿，能知道什么 ？
,国产下药迷奸在线观看,欧美日韩91在线看,《魅魔之耻》1~4集免费看 。??时势3：美国老奶奶logo大全最新款
??01月17日,强化中越战略对接下的务实合作,
三个天才一起大战小不点，这个地方雷鸣陪同着麟吼，以及凶蛟的咆哮，震耳欲聋 。
,白丝 jk 爆乳 图片,好吊操国产精品,五月综合丁香 。??01月17日,中新健康丨中国专家研究成果重塑肺癌治疗格局 更多患者有治愈希望,
一股狂霸的气息向十方扩散，惊的山林中种种生物恐惧，如一头远古遗种现于此地，令天上的青鳞鹰都一震，再次止住了俯冲之势，鹰眸中森寒而又主要 。
,ΠOнлайн hd72,鸥美性感黄色网站,亚洲色久悠悠A∨在线观看性色 。??时势4：馃尭馃尭18馃埖
??01月17日,【党外人士话复兴】田沁鑫：做大家认可的 真正有人民性的作品,
“我的，我的，都是我的，怎么跑了 ？”小不点叫嚷 。
,乳欲人妻1-3D无删减,18禁动漫黄片,麻豆视频国产在线观看 。??01月17日,台胞走进飞天故里：与石窟对话 感受万人沙漠星空演唱会,
5、学龄前儿童在街道或公路上行走，须有成年人向导;
,www男女,奇奇网午夜理论电猫,80耄耋性色老太HD大全 。责编：纳差
审核：屠苏酒
责编：贾静已
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
