把一段音频、一张照片输入AI模型,就能让图中人物开口唱歌说话,让奥黛丽赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子。不久前,这款名为EMO的模型因为阿里通义实验室的一篇论文火遍海内外,模型的产品化进程也广受关注。4月25日,EMO终于上线通义APP,开放给所有用户免费使用。

  打开通义APP,进入“全民舞台”频道,就可来到EMO产品页面“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO随即就能合成视频。

  通义APP首批上线多个EMO模板,包括热门歌曲《上春山》《野狼disco》等,网络热梗“钵钵鸡”“回手掏”等。目前通义APP暂不开放用户自定义音频,用户只能选择APP预置的音频来生成视频。

  EMO是通义实验室研发的AI模型,其背后的肖像说话(Talking Head)技术是当前大热的AIGC领域。EMO之前的Talking Head技术都需针对人脸、人头或者身体部分做3D建模,通义实验室在业界率先提出了弱控制设计,无需建模就可驱动肖像开口说话,不仅降低视频生成成本,还大幅提升了视频生成质量。EMO学习并编码了人类表达情绪的能力,能将音频内容和人物的表情、嘴型匹配,还能把音频的语气特征和情绪色彩反映到人物微表情上。

  2月底,通义实验室公布相关论文,EMO随之成为继SORA之后最受关注的AI模型之一。现在,通义APP让所有人都可免费体验前沿模型的创造力。未来,EMO技术有望应用于数字人、数字教育、影视制作、虚拟陪伴、电商直播等场景。

  通义APP近期爆款频出,现象级应用“全民舞王”曾在社交平台掀起“兵马俑跳科目三”“金毛跳舞”的热潮,全民舞王背后的模型Animate Anyone也出自通义实验室。近期,通义APP还陆续推出了超长文档解析、AI编码助手、AI会议助手等免费实用功能。通义大模型正在成为越来越多用户的超级AI助手。

  腾讯被曝隐藏专业职级,不希望以职级论英雄;罗永浩:已还8.24亿,钱能铺满13个足球场;字节跳动将签署108亿美元贷款丨雷峰早报

  阿里实行13天婚假政策,员工可分两次休完;永辉超市宣布追究王健林等法律责任;爱玛实控人被留置、立案调查丨雷峰早报

  三星全球大裁员:海外部门人员削减达30%;又一大佬炮轰罗永浩六大恶行;普华永道美国裁员近两千人,并重组产品部门丨雷峰早报

  地平线SuperDrive泛化能力显身手,助力车企“多快好省”制胜高阶竞逐

  35岁员工猝死,两家巨头将监控员工上班、限制工作时间;普华永道被罚4.41亿、停业半年、撤销广州所;京东三年六次涨薪丨雷峰早报

  双11不怕“仅退款”!“新政”上线两个月,淘宝不合理“仅退款”全方位得到整治

  AI发现超16万种RNA病毒,中山大学、阿里云联合研究成果在国际顶刊《Cell》发表