IT之家 7 月 20 日音书，如今小话语模子驱动升温，很多厂商驱动推出适用于手机等轻量级开导的“小模子”，本周 Hugging Face 便公布了“SmolLM”小话语模子眷属，其中包含 1.35 亿、3.6 亿及 17 亿参数模子疯狂小学生，IT之家附表情如下（点此探听）。
据先容，这些模子堪称所以用心经营的高质料锤真金不怕火数据集锤真金不怕火而成，堪称在 Python 行径编写性能上十分远大，团队指出他们重心优化了模子所需的 RAM 用量，“即使是在 6GB RAM 的 iPhone 15 上也能运行”。
在锤真金不怕火方面，色情直播Hugging Face 团队最初建筑了一款名为 SmolLM-Corpus 的数据集（数据集地址点此探听），该数据集主要包含 Python 教悔实质 Python-Edu、Web 教授实质 FineWeb-Edu 以及使用 Mixtral-8x7B-Instruct-v0.1 和 Cosmopedia v2 两款模子生成的学问实质，token 量策画 6000 亿。尔后 Hugging Face 团队便使用 SmolLM-Corpus 数据集锤真金不怕火了“SmolLM”小话语模子。
Hugging Face 团队将开发出的 SmolLM 模子与疏导参数目的其他模子进行了基准测试，其中 SmolLM-135M 在多项测试中非凡了小于 2 亿参数的其他模子；而 SmolLM-360M 的测试获利优于所有这个词小于 5 亿参数以下的模子，不外某些表情逊于 Meta 刚刚公布的 MobileLLM-350M；SmolLM-1.7B 模子则非凡了所有这个词参数目小于 20 亿参数的模子，包括微软 Phi-1.5、MobileLLM-1.5B 及 Qwen2。
自拍华人在线
告白声明：文内含有的对外跳转通顺（包括不限于超通顺、二维码、口令等方法），用于传递更多信息，检朴甄选期间疯狂小学生，恶果仅供参考，IT之家所有这个词著述均包含本声明。
