首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查” ，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该 ？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA ？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕 ？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《黄色带视频高清一区二区》 ，《Q8X2R7L1T4J5M9B6W3》97热久久免费频精品无码
“亚洲操逼视频一区二区”
骚碰人人人噪人人人观看视频
……
01月17日
“查”曝Milkyway到期召回
↓↓↓
01月17日 ，“歪果仁”江源玉树游“人文称多” 互洒糌粑送祝福 ，反差婊骚话喷水在线观看 ，A级毛片网址 ，国产精品久了久在线 ，av在线资源
01月17日 ，大湾区潮青集体骑行“向汕”迎全球潮团两大盛会 ，一级黄片免费看99讠Ver ，FreePorno💋👙4D ，少妇做受 高潮100 ，99爱亚洲男人的天堂在线播
01月17日 ，“五一”假期 南京夫子庙景区游人如织 ，爽A一级资源免费干 ，七色色亚洲 ，同性女性自慰一级A片 ，男生给女生舔逼
01月17日|新疆巴音布鲁克草原牲畜陆续转入冬季牧场|视频免费一级|三级片黄片免费观看|雷电将军的释怀免费|a片免费资源
01月17日|广州白云机场国际出港客运航班截载时间缩至60分钟内|一级国产黄色免费在线观看|91久久国产精品一区二区九色|欧美性爱ww|满十八岁的黄色网站
01月17日|大天鹅也有“方言”？听听鸟类专家的分析|国产性爱黄|色欲|陕西一级黄片|馃憴馃憴馃崋馃崋……
01月17日 ，哈尔滨机场单日起降架次、旅客量双创纪录 ，国产 主播 一区 ，欧美熟妇黑人ⅩXXXXX ，中文字幕 精品一区 ，男女猛烈无遮挡羞羞视频
01月17日 ，2024年1月16日外交部发言人毛宁主持例行记者会 ，打女仆屁股的游戏 ，成人P站 ，印度人乄乄乂 ，免费可看的黄网站
01月17日|建设高能级开放强省：浙江为何提出三个“最”？|午夜免费在线|毛片网络|国产在线视频1314|日本爱爱一区二区三区
01月17日 ，带着Ai上两会 绽放数智青年力 ，欧美一级AA片免费看视频 ，欧美一级AⅤ ，www,一级高清免费视频 ，把jiji 进女班长屁屁的游戏
01月17日 ，查扣涉案黄金4976克！女子投资530万 竟是电诈“洗钱” ，魅魔岛下载官方网站入口 ，亚洲精品免费线视频观看视频 ，永久官网特级黄色视频 ，人人看 人人摸 人人艹
01月17日 ，第74集团军某旅党委提升领战能力,聚焦该旅领战抓训细节之变 ，亚洲 欧美 日韩小说 ，纲手h本子 ，插摸肏视频 ，99热思思热
01月17日|前三季度山西运城“新三样”产品出口2554.85万元|日韩好精品视频你懂得|美女被爆操|性爱三级视频网|手机看片1024人妻欧美
01月17日|长江源头首处国际重要湿地十年间黑颈鹤种群稳中有升|祥仔一合区和八合区是二合区|叶子小姐姐户外女王的最新视频|黄色欧美日韩在线免费|艾莉同学的jm漫画叫什么
01月17日|黑龙江机场集团7月客流量创暑运历史新高|生活片黄色视频|乳汁性爱|操女生免费在线网站|粗大的 巴再里面导出白浆
鼎益丰确认出现兑付困难 ，周杰伦演唱会彩排图瘦回20年前|AI高考作文火了，带来哪些教与学的启示？|欧美一级高潮片免费的|亚洲视频偷拍|男子大捧一进一出视频|老师把内裤掀开给学生摸视频
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
五四青春歌会唱响广州永庆坊手工书、皮影、凸版印刷 多国青年学子体验“书趣”
张琳芃说国足配得上胜利
【文化拾遗 魅力泉州】有声手账｜创新发展，让花灯非遗绽放光彩
陈茂波将率团访沙特阿拉伯 推介香港金融及创科优势
150幅农民画在西安集中展出 展现乡村振兴的时代风貌
丁薛祥会见阿塞拜疆总统阿利耶夫
长沙楼市“银十”持续升温 多部门“组合拳”助市场回稳
中国副财长出席2024年世界银行发展委员会第110次会议
中国女排无缘巴黎奥运会四强
【铸牢共同体 中华一家亲】向“新”谋发展 共浇“石榴花”
毛片一级二级三级
国产精品一级A级理论片
淫操操
思思九九精品视频在线播放
中国实践拍击视频网2
免费操操网
老逼败火
普通话熟女高潮对白视频
www...com亚洲图片
免费超碰福利
闽公网安备 35010302000113号