MoE
-
-
晉升業(yè)內(nèi)新寵兒,MoE模型給了AI行業(yè)兩條關(guān)鍵出路
文 | 智能相對論 作者 | 陳泊丞 今年以來,MoE模型成了AI行業(yè)的新寵兒。 一方面,越來越多的廠商在自家的閉源模型上采用了MoE架構(gòu)。在海外,OpenAI的GPT-4、谷歌的Gemini、Mistral AI的Mistral、xAI的Grok-1等主流大模型都采用了MoE架構(gòu)