用更低精度表示权重或激活,以降低存储和计算成本。
用更低精度表示权重或激活,以降低存储和计算成本。
在 AI 年鉴中,量化 属于“推理与部署”知识分类,并与 0 条已审核模型版本事实建立关联。
术语解释用于理解字段含义,不能替代具体模型版本的来源、条件和证据。
术语页解释字段含义与阅读边界;具体模型的参数、条件和结论仍要回到对应版本记录和来源核对。
量化可以发生在训练后或训练过程中,常见目标包括减少显存占用、提高吞吐和降低部署成本。精度损失取决于方法、位宽、校准数据和推理实现。
量化版本不是新的基础模型版本;必须区分原始权重、量化格式和实际推理后端。