腾讯Hy4大模型开源 混元LLM系列全量开放

AI 驱动中国 柳深 130次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

腾讯混元团队宣布Hy4大模型正式开源,权重上线GitHub、Hugging Face、ModelScope和GitCode,开发者可自行下载部署,混元LLM系列完成全量开放,覆盖Hy3 preview、Hy3、Hy4 preview、Hy4及Hy4 flash等版本,并披露参数、上下文与安全评估。

驱动中国11月20日消息,腾讯混元团队宣布Hy4大模型正式开源,模型权重已在GitHub、Hugging Face、ModelScope和GitCode四个平台同步上线,开发者可自行下载部署。随着Hy4开放,混元LLM系列已完成全部开源,覆盖Hy3 preview、Hy3、Hy4 preview、Hy4及Hy4 flash等版本。

时间线上,Hy4正式版最早于11月4日发布,本次开源的是此前预告的模型权重。架构方面,Hy4采用MoE混合专家架构,总参数770B,激活参数49B,上下文窗口突破100万Token。

与旗舰版Hy4同步开放的还有主打性价比的Hy4 flash。该模型总参数约2200亿,其中包含约635亿Engram参数,每个Token仅激活约120亿参数,同样支持最高100万Token的上下文窗口,并支持文本与图像输入。Hy4与Hy4 flash形成从旗舰能力到低成本规模化落地的梯次搭配。

许可证方面,Hy4及Hy4 preview采用Apache 2.0许可证,允许商业使用与修改。腾讯混元同步发布Hy4模型安全评估卡片(System Card),披露网络安全与生物安全等维度评估结果。官方说明显示,Hy4训练数据仅纳入PoC生成、漏洞修复等防守性网络安全内容,剔除漏洞利用、逆向工程与渗透等攻击性数据;腾讯玄武与科恩实验室审计未发现明显的进攻性能力风险。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530264.html
本文价值 ★★★★★ — 成为第一个评分的人
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友

分享卡已生成

长按下方图片保存,转发到朋友圈或微信群

分享卡