每次前向计算通常会使用同一组主要参数。
每次前向计算通常会使用同一组主要参数。
在 AI 年鉴中,稠密模型(Dense) 属于“架构”知识分类,并与 19 条已审核模型版本事实建立关联。
术语解释用于理解字段含义,不能替代具体模型版本的来源、条件和证据。
术语页解释字段含义与阅读边界;具体模型的参数、条件和结论仍要回到对应版本记录和来源核对。
稠密模型在每个 token 的前向过程中使用完整的主干参数,相比 MoE 通常结构更直接,但计算量、参数量和部署成本需要结合具体实现判断。
不能仅根据开放权重、参数规模或模型名称判断模型是 Dense。