➀ 富士通开发了结合1位量化和AI蒸馏技术的生成式AI重构方案,内存占用减少94%,推理速度提升3倍,同时保持89%准确率;
➁ 该方法支持大型AI模型(如Takane)在低端GPU和边缘设备(手机/工业设备)运行,相比GPTQ等传统方案,具备更强的数据安全性和能效表现;
➂ 受脑神经网络重组启发,技术实现任务专精化,2025下半年启动全球试验,已通过Hugging Face发布量化模型,在销售预测和图像识别中分别实现11倍速度提升和10%准确率突破。
➀ 富士通开发了结合1位量化和AI蒸馏技术的生成式AI重构方案,内存占用减少94%,推理速度提升3倍,同时保持89%准确率;
➁ 该方法支持大型AI模型(如Takane)在低端GPU和边缘设备(手机/工业设备)运行,相比GPTQ等传统方案,具备更强的数据安全性和能效表现;
➂ 受脑神经网络重组启发,技术实现任务专精化,2025下半年启动全球试验,已通过Hugging Face发布量化模型,在销售预测和图像识别中分别实现11倍速度提升和10%准确率突破。