英伟达发布小模型Minitron
发布日期：2024-07-26
来源：硅星人
7月25日讯，据 huggingface 页面显示，英伟达官方推出一款小语言模型Minitron，包含4B和8B两个参数版本。
据悉，Minitron在保持相当性能水平的同时，将模型大小缩小了 2-4 倍。具体来说，使用这种方法，从 15B 模型衍生出的 8B 和 4B 模型所需的训练代币比从头开始训练少 40 倍。这使得训练整个模型系列（15B、8B 和 4B）的计算成本节省了 1.8 倍。
Minitron 模型系列现已在 Huggingface 上开源供公众使用。
