使用训练完成的模型生成输出的过程。
使用训练完成的模型生成输出的过程。
在 AI 年鉴中,推理 属于“推理与部署”知识分类,并与 0 条已审核模型版本事实建立关联。
术语解释用于理解字段含义,不能替代具体模型版本的来源、条件和证据。
术语页解释字段含义与阅读边界;具体模型的参数、条件和结论仍要回到对应版本记录和来源核对。
推理阶段涉及模型权重、运行时、硬件、批处理、缓存、量化、并行和服务接口。吞吐、延迟和成本是部署条件的结果,不是模型名称本身的固定属性。
官方 API 的价格或延迟不能直接代表本地部署的成本或速度。