跳至主要內容
混合专家模型

混合专家模型

混合专家模型(Mixture-of-Experts,MoE)为由许多独立网络组成的系统提出了一种新的监督学习过程,每个网络都学习处理完整训练案例集的子集。新过程可以被视为多层监督网络的模块化版本,也可以被视为竞争性学习的关联版本。


最后的开神-wkyc大约 5 分钟语言模型模型架构