Meta发布Llama 4：重构架构首次采用MoE技术

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“Meta发布Llama 4：重构架构首次采用MoE技术”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

Meta发布Llama 4：重构架构首次采用MoE技术：

Meta 今日发布了首批 Llama 4 系列模型：Llama 4 Scout 和 Llama 4 Maverick。

据报道，此前 DeepSeek 发布的开源模型（如 R1 和 V3）在性能上与 Meta 之前的旗舰 Llama 模型相当甚至更优，促使 Meta 加快了 Llama 4 的研发节奏。为应对竞争，Meta 内部曾设立“作战室”以深入研究 DS 如何实现更低成本的模型部署与运行。如今，Llama 4 与 V3 在性能上的对比依然是业内关注的焦点。

Meta GenAI 负责人在 X 上表示，本次发布标志着 Llama 系列的全面重构完成。他表示，此次推出的是 Llama 4 系列中首批开源模型，代表了该系列发展的又一重要里程碑。本次发布的主要亮点有：

Llama 4 系列在架构层面进行了全面升级，采用先进的专家混合（MoE，Mixture-of-Experts）架构，并在原生多模态任务上进行了联合训练。此次发布包括 Llama 4 Scout 和 Llama 4 Maverick，同时也首次预览了更强大的 Llama 4 Behemoth。

Llama 4 Scout 是目前性能最强的小型模型，拥有 170 亿活跃参数和 16 个专家模块。该模型具备出色的推理速度，原生支持多模态，具备强大的智能能力，支持业界领先的 1000 万以上 token 上下文窗口，并且可在单张 GPU 上运行。

Llama 4 Maverick 是当前同类中最强的多模态模型，在多个公开评测中超越 GPT-4o 和 Gemini 2.0 Flash，在推理和编程任务上与 DeepSeek v3 表现相当，同时活跃参数不到其一半。该模型在性能与成本比方面表现出色，其实验性对话版本在 LMArena 榜单中获得 1417 的 ELO 分数，并且也可在单机环境中运行。

Meta 还预览了 Llama 4 系列中性能最强的模型 —— Llama 4 Behemoth，该模型在多个 STEM 基准测试中超过 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。Llama 4 Behemoth 目前仍在训练中，Meta 表示将持续披露其更多细节。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“Meta发布Llama 4：重构架构首次采用MoE技术”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！