腾讯混元开源端到端视频音效生成模型HunyuanVideo-Foley
8月28日,腾讯混元宣布开源端到端视频音效生成模型HunyuanVideo-Foley,这一模型能够通过输入视频和文字为视频匹配电影级音效腾讯,为视频创作带来了新的突破。用户只需输入相应的文本描述,HunyuanVideo-Foley就能生成与画面精准匹配的音频,从而打破AI生成视频只能混元“看”不能“听”的局限,让无声AI视频成为历史。
HunyuanVideo-Foley的出现解决了现有音频生成技术面临的三大痛点。首先,它通过构开源建大规模高质量TV2A(文本-视频-音频)数据集,提升了模型的泛化能力,使其能够适配人物、动物、自然景观、卡通动画等各类视频,并生成与画面精端到准匹配的音频。其次,该模型采用创新的双流多模态扩散变换器(MMDiT)架构,能够平衡文本和视频语义,生成层次丰富的复合音效,避免了因过度依赖文端视本语义而导致的音频与场景脱节问题。最后,HunyuanVideo-Foley通过引入表征对齐(REPA)损失函数,提升了音频生成的质量和稳定性,保证频音了专业级的音频保真度。
在多个权威评测基准上,HunyuanVideo-Foley的性能表现全面领先,其音频质量指标PQ从6.17提升至6.59效生,视觉语义对齐指标IB从0.27提升至0.35,时序对齐指标DeSync从0.80优化至0.74,均达到了新的SOTA水平。在主观评测中,该模型在音成模频质量、语义对齐和时间对齐三个维度的平均意见得分均超过4.1分(满分5分),展现了接近专业水准的音频生成效果。
HunyuanVideo-F型Holey的开源为行业提供了可复用的技术范式,将加速多模态AI在内容创作领域的落地。短视频创作者可以一键生成场景化音效,电影团队能够快速完成环境un音设计,游戏开发者可以高效构建沉浸式听觉体验。
目前,用户可以在Github、HuggingFace下载模型,也可以在混元官网直接体验。
体验入口:htyutps://hunyuan.tencent.com/video/zh?tabIndex=0
项目官网:https://szczesnys.ganithub.io/hunyuanvideo-foley/
代码:https://github.com/Tencent-Hunyuan/HunyuanVViideo-Foley
技术报告:https://arxiv.org/abs/2508.16930
Hugging Face:https://huggindegface.co/tencent/HunyuanVideo-Foley
(责任编辑:资本市场)
- 企业微信5.0重磅官宣:推出三大全新AI能力,连接真实企业超1400万
- 给几句话就能生成分子,看见分子也能生成描述,神秘的Google X把多模态AI做成了黑科技
- 标签: 智行者 黄石产投 特种无人驾驶 清华大学
- 鹿晗什么梗
- 云安全日报210603:Ubuntu Linux内核发现执行任意代码和拒绝服务漏洞,需要尽快升级
- 标签: 铜博科技 电解铜箔 锂电池铜箔 港交所上市
- 标签: 特斯拉 Model3 ModelY 轻松贷
- 云安全日报210201:F5负载均衡厂商安全访问iOS客户端发现执行任意代码漏洞,需要尽快升级
- 谷歌推出新方法:训练数据量减少 1 万倍,提升模型精准度
- 标签: 红熊AI 温德亮 企业级AI 记忆科学
- 标签: 抖音 验证助手 反诈工具 老年用户
- 标签: 臻驱科技 新能源汽车 功率砖 港交所IPO
- 阿里云第八代企业级实例g8i上新:AI推理性能最高提升7倍、可支持72B大语言模型
- 寰�蒋瀹e竷鏀惰喘缃戠粶瀹夊叏鍒濆垱浼佷笟CloudKnox
- 标签: 智谱 AutoClaw 澳龙 OpenClaw
- 标签: 高通 RISC-V Ventana Oryon
- 标签: 路易达孚 LDC 农产品贸易 可持续发展
- YouTube全球化神器正式上线!AI配音让视频观看时长暴涨25%,数百万创作者迎来流量新风口
- 标签: 支付宝 阿宝 AI版支付宝 资产卡片
- 苹果 CEO 库克:未来将整合更多 AI 技术提升 Siri
- 进行大规模云迁移的挑战和建议 views+
- 亚马逊任命云计算业务下一任CEO 竟是一位故人 views+
- 标签: 进迭时空 RISC-V K1芯片 陈志坚 views+
- Salesforce瀹屾垚277浜跨編鍏冩敹璐璖lack浜ゆ槗 寰�蒋闈�复涓€涓�彲鎬曞�鎵� views+
- 8张图,看懂数据驱动业务的六个层次 views+
- Invisible成功融资1亿美元,助力企业构建 AI 培训平台 views+
- 面壁智能推出 VoxCPM:新一代高拟真语音生成模型 views+
- 台积电股票开盘下跌3.87% 此前英特尔宣布建立芯片代工工厂 views+
- 标签: 宝马 Momenta ADAS 智能驾驶 views+
- 基于深度学习的文本情感识别技术在5G不良消息安全管控平台中的应用 views+
