兼职美工 浪潮信息发布源 2.0-M32 大模型 4bit / 8bit 量化版

IT之家 8 月 23 日消息，浪潮信息今日发布源 2.0-M32 大模型 4bit 和 8bit 量化版兼职美工，性能号称“比肩 700 亿参数的 LLaMA3 开源大模型”。

4bit 量化版推理运行显存仅需 23.27GB，处理每 token 所需算力约为 1.9 GFLOPs，算力消耗仅为同等当量大模型 LLaMA3-70B 的 1/80。而 LLaMA3-70B 运行显存为 160GB，所需算力为 140GFLOPs。

据浪潮信息介绍，源 2.0-M32 量化版是“源”大模型团队为进一步提高模算效率，降低大模型部署运行的计算资源要求而推出的版本，将原模型精度量化至 int4 和 int8 级别，兼职美工并保持模型性能基本不变。

源 2.0-M32 大模型是浪潮信息“源 2.0”系列大模型的最新版本，构建包含 32 个专家（Expert）的混合专家模型（MoE）兼职美工，模型运行时激活参数为 37 亿。

评测结果显示，源 2.0-M32 量化版在 MATH（数学竞赛）、ARC-C（科学推理）任务中，性能超过了 700 亿参数的 LLaMA3 大模型。

美工兼职网站

源 2.0-M32 量化版已开源，IT之家附下载链接如下：

Hugging Face 平台下载链接

modelscope 平台下载链接兼职美工

特别声明：以上内容（如有图片或视频亦包括在内）来源于网络，不代表本网站立场。本网站仅提供信息存储服务。如因作品内容、版权和其他问题需要同我们联系的，请联系我们及时处理。联系方式：451255985@qq.com，进行删除。