腾讯发布并开源新一代大语言模型Hy4 preview

8月28日,腾讯混元正式发布并开源新一代大语言模型Hy4 preview,该模型总参数770B,激活参数49B,上下文长度突破1M。

Hy4 preview定位“为生产力而生”的模型,在代码、办公、科学等真实生产力任务上展现出显著进步。

Hy4 preview采用混合专家架构,主干共78层,第一层为标准FFN,其余77层均为MoE结构,每层包含256个路由专家与1个共享专家,每个token激活top-8路由专家及共享专家。

主干之外内置1层MTP以支持投机解码,腾讯方面表示,模型在模型尺寸、上下文长度、数据规模上均进行了显著扩展。

极佳视界提出通用世界模型L1-L5分级体系

在腾讯内部组织的163名专家、203个工程任务盲测中,Hy4 preview均分2.99/4,略优于GLM 5.3的2.92和Kimi K3的2.94。

在百年经典几何难题三维Blaschke–Lebesgue问题上,模型配合Hyra将体积下界从0.380799推进至0.41104,距离Meissner四面体猜想最终证明仅剩2%的差距。

定价方面,Hy4 preview输入6元/百万tokens,输出18元/百万tokens,缓存命中0.3元/百万tokens。模型已在腾讯云TokenHub和OpenRouter上线,用户可通过WorkBuddy、CodeBuddy、元宝、ima等腾讯产品直接体验。

腾讯表示Hy4 preview是Hy4迭代的早期版本,预训练和后训练仍有较大提升空间,存在复杂任务长思考等已知问题,将持续敏捷迭代。