使用英特尔CPU或GPU进行ChatGLM3-6B的INT4量化和部署

Llama 3.1 405B支持上下文长度为128K Tokens，在基于15万亿个Tokens、超1.6万个H100 GPU上进行训练，这也是Meta有史以来第一个以这种规模进行训练的Llama模型。

快速完成LLama模型INT4量化和推理程序开发

中国联通 AI 创新中心发布业界第一个 Llama 3 中文指令微调模型，以 Meta Llama 3 为基础增加中文数据进行训练，实现 Llama 3 模型高质量中文问答。

Yi-1.5 是 Yi 的升级版。它通过高质量的 500B 代币语料库在 Yi 上不断进行预训练，并在 3M 不同的微调样本上进行微调。 与易语相比，易-1.5在编码、数学、推理和指令遵循能力方面具有更强的表现，同时在语言理解、常识推理和阅读理解方面仍保持着出色的能力。

此脚本提供了一种统一的方法来估计大型语言模型的性能。 它基于 Optimum-Intel 提供的管道，并允许估计 PyTorch 和 OpenVino 模型，使用几乎相同的代码和预收集的模型。