Llama 3.1：只要8G显卡！本地运行最强语言大模型！

此次发布的

提供了三种不同尺寸：

（中杯）、

（大杯）和

（超大杯）。与几个月前推出的小型Llama 3相比，Llama 3.1不仅更加复杂，性能也得到了显著提升。

在超过150项基准测试中，

的405B版本表现出色，不仅追平，还在某些测试中超越了现有的SOTA模型GPT-4o和Claude 3.5 Sonnet。这一里程碑式的成就标志着开源模型在性能上首次超越闭源模型，预示着人工智能领域的新篇章正在开启。

将上下文长度扩展至128K，并新增了对八种语言的支持。405B版本在常识推理、可操作性、数学能力、工具使用以及多语言翻译等方面展现了超越现有顶尖模型的实力。同时，8B和70B的升级版本也推出了，它们的性能与同类顶尖模型相当。

的405B模型在超过15万亿个token上进行了训练，使用了优化后的训练架构，并依靠超过16000个H100 GPU提供的算力支持。模型采用了标准的解码器Transformer架构，经过精细调整和迭代的后训练流程，包括SFT和DPO，从而进一步提升了性能。