微软完成2.8万亿参数模型预训练：比GPT-5.6基座更强，算力仅用

微软宣布完成新一代自研模型mai-base-2的预训练，模型总参数达2.8万亿，采用moe混合专家架构，每次激活800亿参数。今年8至9月，微软动用1.6万张NVIDIA GB200 GPU，训练38天，处理约50万亿token。新模型首次引入原生视觉预训练，视觉数据占训练量的18%。内部测试显示，mai-base-2在多个文本预测指标上超过deepseek-v4-pro-base、kimi k3、qwen3.8等模型。微软表示，若只想训练出deepseek-v4-pro-base同等水平的模型，所需算力仅为1/4至1/12。AI负责人Mustafa Suleyman称，mai-base-2的预训练基座已强于支撑GPT-5.6的OpenAI模型，训练算力仅为后者的四分之一。该模型仍在后训练阶段，微软计划将其用于自家产品，并通过Foundry向企业合作伙伴授权模型权重。