新京报贝壳财经讯（记者罗一丹）2月10日，腾讯混源针对消费硬件场景开启了“非常小”的HY-1.8B-2Bit型号。该模型基于参数为1.8B的小模型。采用2位量化技术，等效参数大小约为0.3B。实际存储占用空间仅为600MB左右，小于常用的手机应用程序，代表了设备端实现的新突破。该模型基于混源团队开发的工业级2位最终量化解决方案。通过对 HY-1.8B-Instruct 模型进行 2 位量化感知训练（QAT），模型大小缩小至原始精度模型的 1/6。同时，在实际终端设备上的生成速度提升了2-3倍，显着提升了用户体验。从功能上来说，这个模型也保留了原有的思维链，可以提供相应的深层原因为不同复杂性的任务制定流程。这是业界首次实现 2 位工业级量化的设备端建模练习。随着大规模语言模型的普及，业界面临的一个难题是如何将其应用到手机、耳机、智能家居等设备上。特别是，很多应用对于离线部署和模型隐私有更高的要求，需要更小、更强大、可以在设备端运行的模型。该模型目前可在开源建模社区 Huggingface 和 Github 上获取。编辑：杨官娟、校对：刘宝庆