腾讯Hy4大模型开源 混元LLM系列全量开放
腾讯混元团队宣布Hy4大模型正式开源,权重上线GitHub、Hugging Face、ModelScope和GitCode,开发者可自行下载部署,混元LLM系列完成全量开放,覆盖Hy3 preview、Hy3、Hy4 preview、Hy4及Hy4 flash等版本,并披露参数、上下文与安全评估。
驱动中国11月20日消息,腾讯混元团队宣布Hy4大模型正式开源,模型权重已在GitHub、Hugging Face、ModelScope和GitCode四个平台同步上线,开发者可自行下载部署。随着Hy4开放,混元LLM系列已完成全部开源,覆盖Hy3 preview、Hy3、Hy4 preview、Hy4及Hy4 flash等版本。
时间线上,Hy4正式版最早于11月4日发布,本次开源的是此前预告的模型权重。架构方面,Hy4采用MoE混合专家架构,总参数770B,激活参数49B,上下文窗口突破100万Token。
与旗舰版Hy4同步开放的还有主打性价比的Hy4 flash。该模型总参数约2200亿,其中包含约635亿Engram参数,每个Token仅激活约120亿参数,同样支持最高100万Token的上下文窗口,并支持文本与图像输入。Hy4与Hy4 flash形成从旗舰能力到低成本规模化落地的梯次搭配。
许可证方面,Hy4及Hy4 preview采用Apache 2.0许可证,允许商业使用与修改。腾讯混元同步发布Hy4模型安全评估卡片(System Card),披露网络安全与生物安全等维度评估结果。官方说明显示,Hy4训练数据仅纳入PoC生成、漏洞修复等防守性网络安全内容,剔除漏洞利用、逆向工程与渗透等攻击性数据;腾讯玄武与科恩实验室审计未发现明显的进攻性能力风险。