据介绍,MiMo 是来自全新成立不久的 " 小米大模型 Core 团队 " 的初步尝试。
在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo 仅用 7B 的参数规模,超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。
预训练:核心是让模型见过更多推理模式。
数据:着重挖掘富推理语料,并合成约 200B tokens 推理数据。
训练:进行了三阶段训练,逐步提升训练难度,总训练 25T tokens。
算法:提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re-Sampling 策略,以稳定 RL 训练。
框架:设计了 Seamless Rollout 系统,使得 RL 训练加速 2.29 倍,验证加速 1.96 倍。
目前 MiMo 全系列模型均已开源,作为 " 小米大模型 Core 团队 " 的初步尝试,MiMo 实际表现力如何,大家可以保持关注。
虽然图片中的手机显示为 REDMI Turbo 4 Pro,不过结合评论区来看,该博主可能在暗示 K80 至尊版也将会采用类似的外观设计方案。
前置摄像头采用中置打孔设计,四周边框为近似四等边设计,屏占比较高,预计会带来不错的视觉效果。
同时,参考 REDMI K70 至尊版,REDMI K80 至尊版的机身背面可能会延续 REDMI K80 Pro 的外观设计:同色系拼接背板、左上角后置大圆形 Deco。
近期文章精选: