ceoedu-pro主题已启用,当前站点还没有验证正版主题授权,暂不可使用 前往授权激活 获取正版授权
小红书hi lab首开文本大模型 dots.llm1开源14个checkpoint - AI智研社
小智头像图片
AI动态资讯 2025年06月9日
0 收藏 0 点赞 197 浏览 2118 个字
摘要 :

小红书hi lab首开文本大模型 dots.llm1开源14个checkpoint: 一、内容社区跨界AI圈 小红书首次开源文本大模型 6月9日,小红书人文智能实验室(hi lab)宣布正式开源其首……

哈喽!伙伴们,我是小智,你们的AI向导。欢迎来到每日的AI学习时间。今天,我们将一起深入AI的奇妙世界,探索“小红书hi lab首开文本大模型 dots.llm1开源14个checkpoint”,并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知,只需唤醒你的潜能!”跟着小智的步伐,我们终将学有所成,学以致用,并发现自身的更多可能性。话不多说,现在就让我们开始这场激发潜能的AI学习之旅吧。

小红书hi lab首开文本大模型 dots.llm1开源14个checkpoint

小红书hi lab首开文本大模型 dots.llm1开源14个checkpoint:

一、内容社区跨界AI圈 小红书首次开源文本大模型

6月9日,小红书人文智能实验室(hi lab)宣布正式开源其首个文本大模型dots.llm1,引发AI与内容行业双重关注。此次开源包含14个checkpoint(模型训练阶段快照),完整覆盖预训练(Pretrain)与指令微调(Instruct)全流程,模型地址同步上线Hugging Face和GitHub(https://huggingface.co/rednote-hilab;https://github.com/rednote-hilab/dots.llm1)。

作为以UGC(用户生成内容)社区闻名的互联网平台,小红书此次跨界AI开源,被视为其”内容+技术”双轮驱动战略的关键落子。hi lab负责人在开源公告中强调:”dots.llm1不仅是技术成果的开放,更是希望通过社区真实场景数据反哺模型,推动文本大模型在内容理解、生成等垂类场景的创新应用。”

二、1420亿参数”激活140亿” MoE架构实现高效能

dots.llm1的技术路线选择颇具看点——其采用大规模专家混合模型(Mixture of Experts, MoE)架构,总参数规模达1420亿,但实际激活参数仅140亿。这种”大底座+动态激活”的设计,既保留了大模型的知识容量,又通过专家模块的按需调用,显著降低了计算成本。

“传统大模型是’全参数同时工作’,而MoE像’专家团按需派单’。”hi lab技术人员解释,”比如处理美妆教程文本时,模型会自动调用’美妆知识专家’模块;分析旅行攻略时,则切换至’地理文化专家’。这种动态激活机制,让dots.llm1的推理速度比同参数规模的密集模型提升30%以上。”

三、11.2T高质量token训练 性能对标Qwen2.5-72B

支撑dots.llm1的核心是其”高质量数据+高效训练”的组合拳。据官方披露,模型基于11.2T token的高质量文本数据训练,数据来源覆盖小红书社区的笔记、评论、标签等UGC内容,以及权威书籍、学术论文等外部优质语料。hi lab特别强调,团队自主研发了”内容可信度评估”与”重复内容过滤”等数据处理流程,确保训练语料的”高信息密度”——例如,剔除了90%以上的”表情符号堆砌””广告硬广”等低价值内容。

在关键性能指标上,dots.llm1展现出强劲实力:在中文语言理解基准测试CLUE中,其综合得分达85.6分,与阿里云Qwen2.5-72B(720亿参数密集模型)持平;在小红书内部的”内容生成任务”测试中,其笔记标题生成的”用户点击转化率”比现有模型提升22%,关键词提取准确率达91%。

四、14个checkpoint全开放 开发者可”按需取用”

此次开源的14个checkpoint,覆盖了从预训练到指令微调的完整技术路径。其中:
• 7个为预训练阶段模型(参数规模从70亿到1420亿),适合开发者基于自有数据进行二次训练;
• 7个为指令微调模型,针对内容理解(如笔记标签提取)、内容生成(如标题/摘要创作)、用户意图分析(如评论情感判断)等小红书典型场景优化。

“我们没有只开放最终模型,而是开放了全阶段checkpoint。”hi lab负责人表示,”这意味着开发者既能直接使用微调后的’即用型’模型,也能从预训练阶段开始,根据自身场景定制更垂直的模型——比如做电商客服的可以重点优化’商品咨询’专家模块,做教育的可以强化’知识点解析’模块。”

五、内容平台的AI野心:用社区场景定义”实用大模型”

小红书此次开源的深层逻辑,是用”社区真实需求”定义大模型的”实用性”。区别于通用大模型追求”无所不能”,dots.llm1的设计始终围绕内容社区的核心痛点:
• 内容理解更精准:能识别”氛围感””高级感”等小红书用户常用的抽象描述词,并关联到具体的图文特征;
• 生成内容更”社区化”:生成的笔记标题会自动适配”标题党但不夸张”的社区风格,正文内容会规避”硬广感”;
• 用户意图捕捉更敏锐:能分析评论中的”求攻略””求链接””求测评”等隐含需求,辅助运营人员精准响应。

“大模型的价值最终要落地到具体场景。”一位关注内容AI的分析师指出,”小红书拥有2.6亿月活用户的UGC内容池,这些真实的、带场景上下文的数据,是训练’实用大模型’的独特优势。dots.llm1的开源,不仅能反哺社区生态,更可能为垂类大模型的发展提供新范式。”

从”内容社区”到”AI赋能者”的跨界突围

此次开源dots.llm1,标志着小红书正式从”内容平台”向”内容+AI双驱动平台”转型。通过开放技术能力,小红书不仅能吸引开发者基于其模型开发更多社区工具(如自动配图、智能标签生成等),还能通过模型训练数据的持续迭代,进一步强化社区内容的独特性——这种”技术反哺内容,内容优化技术”的闭环,或将成为其在AI时代的核心竞争力。

在大模型”百模大战”进入深水区的2025年,小红书用”场景定义模型”的差异化策略,为行业提供了新的思考方向:当通用大模型逐渐趋同,深耕垂直场景、用真实需求打磨技术,或许才是打开大模型价值空间的关键钥匙。

嘿,伙伴们,今天我们的AI探索之旅已经圆满结束。关于“小红书hi lab首开文本大模型 dots.llm1开源14个checkpoint”的内容已经分享给大家了。感谢你们的陪伴,希望这次旅程让你对AI能够更了解、更喜欢。谨记,精准提问是解锁AI潜能的钥匙哦!如果有小伙伴想要了解学习更多的AI知识,请关注我们的官网“AI智研社”,保证让你收获满满呦!

微信打赏二维码 微信扫一扫

支付宝打赏二维码 支付宝扫一扫

版权: 转载请注明出处:https://www.ai-blog.cn/17587.html

相关推荐

Sutton上海开讲:经验数据时代来了: 7 月 26 日,WAIC 2025 主论坛,现代强化学习之父 Rich Sutto…

小智头像图片
82

薄列峰入混元:腾讯再收AI王牌: 7 月 26 日,AI 科技评论独家获悉:原通义实验室应用视觉一号位薄…

小智头像图片
176

Hinton上海首讲:数字永生VS养老虎: 7 月 26 日,2025 世界人工智能大会(WAIC)开幕,77 岁的“深…

小智头像图片
84

阶跃星辰Step 3开源:321B MoE霸榜: 7 月 25 日 WAIC 2025 开幕前夜,上海 AI 独角兽阶跃星辰放了…

小智头像图片
87

商汤单拆具身智能公司抢滩: 7 月 23 日,商汤科技低调官宣:把“机器人大脑”业务整块拉出来,成立…

小智头像图片
64

Perplexity闪电融资1亿刀硬刚Chrome: 7 月 21 日,AI 搜索新贵 Perplexity 宣布完成 1 亿美元“闪…

小智头像图片
24

周鸿祎:DeepSeek官网掉量不心疼: “流量降七成?梁文锋压根儿没把 To C 当回事。”7 月 23 日,360…

小智头像图片
145

亚马逊上海AI院关门真相: 7 月 23 日,AWS 上海 AI 研究院首席科学家王敏捷一条朋友圈炸圈:“刚收…

小智头像图片
81
发表评论
暂无评论

还没有评论呢,快来抢沙发~

助力原创内容

快速提升站内名气成为大牛

扫描二维码

手机访问本站

二维码
vip弹窗图片