jm2024_05_13安装包45MB

电脑版下载

76987
9

jm2024_05_13安装包45MB截图Q8X2R7L1T4J5M9B6W3

内容详情

jm2024_05_13安装包45MB

只管近年来AIGC要害手艺一直突破，但图像天生领域始终面临着一个“两难逆境”：闭源模子性能强盛但难以私有化安排；开源计划在轻量化与高性能之间难以取舍，且缺乏面向商用的专项能力。

针对这一行业痛点，美团LongCat团队克日宣布，开源其最新研发的LongCat-Image模子。该模子通过高性能模子架构设计、系统性的训练战略和数据工程，以6B的紧凑参数规模，在文生图与图像编辑焦点能力上迫近了更大尺寸的头部模子，为开发者与工业界提供了一个“高性能、低门槛、全开放”的全新选择。

▲模子架构

据先容，LongCat-Image的焦点优势在于其架构设计与训练战略。

详细来看，模子接纳文生图与图像编辑同源的架构，连系渐进式学习战略，乐成在6B参数下实现了指令遵照精准度、生图质量与文字渲染能力的高效协同。

在图像编辑方面，LongCat-Image的“可控性”体现突出，而性能突破的要害在于一套细密协同的训练范式和数据战略。

为有用继续文生图模子的知识和美感，同时阻止文生图后训练阶段收窄的状态空间对编辑指令多样性的限制，团队一方面基于文生图Mid-training阶段模子举行初始化，并接纳指令编辑与文生图多使命联合学习机制，深化对重大多样化指令的明确；另一方面，通过预训练阶段的多源数据及指令改写战略，以及连系SFT阶段引入的人工精标数据，最终实现了指令遵照精准度、泛化性和编辑前后视觉一致性的配合提升。

在GEdit-Bench和ImgEdit-Bench等权威基准测试中，LongCat-Image均抵达开源SOTA（目今最佳）水平，可精准响应用户的多样化修改需求。

在中文文本渲染这一恒久困扰业界的难题上，LongCat-Image也取得了很大希望，通过课程学习战略提升字符笼罩度和渲染精准度：预训练阶段基于万万量级合成数据学习字形，笼罩通用规范汉字表的8105个汉字；SFT 阶段引入真实天下文本图像数据，提升在字体、排版结构上的泛化能力；在RL（强化学习）阶段，引入OCR与美学双奖励模子，进一步提升文本准确性与配景融合自然度。

该模子在ChineseWord评测中以90.7的得分领先同类产品。无论是商业海报中的重大笔画，照旧古诗词插图中的生僻字，LongCat-Image均能实现精准、自然的渲染，进一步拓展AI在设计领域的应用界线。

为了提升天生图像的审美与真实感，LongCat团队还构建了系统性的数据筛选与对抗训练框架。团队在预训练阶段严酷过滤低质量AIGC数据，并在RL阶段立异性引入AIGC内容检测器作为奖励模子，使用其对抗信号逆向指导模子学习真实天下的物理纹理、光影和质感，从而显著改善了AI绘图常见的“塑料感”纹理。

▲客观基准测试性能比照

周全的客观与主观评测数据均验证了LongCat-Image的能力：在客观基准测试中，其图像编辑得分与中文渲染能力均领跑参评模子；在文生图使命上，GenEval与DPG-Bench的优异体现证实晰其相比头部开源与闭源模子依然具备强竞争力。

▲人类主观评分比照& 并列比照评估胜率

在更贴近用户体验的主观评测（文生图方面接纳大规模的人工主观评分与图像编辑方面接纳严酷的并列比照评估）中，LongCat-Image在真实度方面相比主流开闭源模子体现精彩，同时在文本-图像对齐与合理度上抵达开源SOTA水平；至于综合编辑质量和视觉一致性方面，虽然与Nano Banana等商业闭源模子仍有一定差别，但在开源领域已形成领先优势。

值得一提的是，为了构建一个更透明、开放、协作的开源生态系统，美团 LongCat团队此次周全开源了从Mid-training到Post-training的文生图多阶段模子及图像编辑模子，旨在支持以前沿研究到商业应用的全流程。相关资源已在Hugging Face和GitHub上线，用户也可在官网longcat.ai上体验。

与此同时，面向终端用户的“LongCat APP”也迎来重大升级，全新上线的图生图功效与24个零门槛玩法模板，让通俗用户也能一键天生海报、精修人像，实现“专业AI创作零门槛”。

美团LongCat团队还体现：“我们坚信，真正的手艺前进源于社区的整体智慧。现诚邀宽大开发者体验模子、加入共建，与我们配合基于这个高效能模子，探索视觉天生的更多可能。”

·Hugging Face:https://huggingface.co/meituan-longcat/LongCat-Image

·GitHub:https://github.com/meituan-longcat/LongCat-Image