Llama 3.1 是 Meta 发布的新一代开源大模型 ，提供 8B、70B 及 405B 参数版本。 Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。
Llama 3.1 405B支持上下文长度为128K Tokens，在基于15万亿个Tokens、超1.6万个H100 GPU上进行训练，这也是Meta有史以来第一个以这种规模进行训练的Llama模型。
此脚本提供了一种统一的方法来估计大型语言模型的性能。 它基于 Optimum-Intel 提供的管道，并允许估计 PyTorch 和 OpenVino 模型，使用几乎相同的代码和预收集的模型。
Yi-1.5 是 Yi 的升级版。它通过高质量的 500B 代币语料库在 Yi 上不断进行预训练，并在 3M 不同的微调样本上进行微调。 与易语相比，易-1.5在编码、数学、推理和指令遵循能力方面具有更强的表现，同时在语言理解、常识推理和阅读理解方面仍保持着出色的能力。
中国联通 AI 创新中心发布业界第一个 Llama 3 中文指令微调模型，以 Meta Llama 3 为基础增加中文数据进行训练，实现 Llama 3 模型高质量中文问答。
