EdgeRazor

EdgeRazor是一款开源大模型混合精度量化工具。本文手把手教你如何将大模型体积压缩至190MB，并在PC与手机CPU端实现15倍解码加速。包含一键部署训练指南及GitHub、Hugging Fac...