通过路由器为每个 token 选择部分专家参与计算。
通过路由器为每个 token 选择部分专家参与计算。
在 AI 年鉴中，混合专家模型（MoE） 属于“架构”知识分类，并与 19 条已审核模型版本事实建立关联。
术语解释用于理解字段含义，不能替代具体模型版本的来源、条件和证据。
术语页解释字段含义与阅读边界；具体模型的参数、条件和结论仍要回到对应版本记录和来源核对。
MoE 通常包含多个专家网络和一个路由机制。总参数量可以很大，但单个 token 的激活参数量可能小于总参数量，因此比较时要同时记录 total parameters 和 active parameters。
MoE 不自动意味着更强、更便宜或更容易部署；路由、通信、显存和服务实现都会影响实际成本。