通义千问开源首个MoE模型
钛媒体App 3月29日消息，据阿里通义千问官微，通义千问团队开源首个MoE模型，名为Qwen1.5-MoE-A2.7B。它仅有27亿个激活参数，但性能可与当前公认最先进的70亿参数模型(Mistral 7B、Qwen1.5-7B等)相媲美。
钛媒体App 3月29日消息，据阿里通义千问官微，通义千问团队开源首个MoE模型，名为Qwen1.5-MoE-A2.7B。它仅有27亿个激活参数，但性能可与当前公认最先进的70亿参数模型(Mistral 7B、Qwen1.5-7B等)相媲美。