Llama 4 发布,最猛是达到了1000万上下文长度!
但是不要对模型能力抱太大希望,有点拉跨只能说
开个帖子记录一下详细信息:
Llama 4 Scout:
17B活跃参数的 16 位专家MoE模型,1000 万上下文窗口,仅需单个 NVIDIA H100 GPU 可运行
Llama 4 Maverick:
17B活跃参数的128 位专家MoE模型,LLM竞技场得分最高的开源模型,支持图像多模态识别
另外还有Llama 4 Behemoth:
- 288B活跃参数,16 位专家MoE模型
- 在多项 STEM 基准测试中超越了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro
- 总参数超过了 4T!
- 目前仍在训练
lama 4 Maverick 17B active 在 M3 Ultra 上的速度是50Token /秒
Llama 4 Scout 和 Maverick 现已在 OpenRouter 上推出,而且有免费版本
Groq 上的 Llama 4 Scout 运行速度是 511 Token 每秒,同时可以用 API 白嫖
Llama 4 Maverick 在LLM竞技场总榜第二,开源LLM第一
- 排名第一的开放模型,超越 DeepSeek
- 在硬性提示、编码、数学、创意写作中并列第一
- 大幅超越 Llama 3 405B: 1268 → 1417
- 风格控制排名第五
详细信息:
ai.meta.com