一张照片+一段语音，就能生成会说话的你
还记得那些年，我们一起追过的虚拟偶像吗？ 初音未来、洛天依……这些虚拟偶像凭借着甜美的歌声和炫酷的舞蹈，收获了无数粉丝。而现在，你我普通人也能轻松拥有自己的专属虚拟角色了，现在，这个梦想不再遥远！
最近，一项黑科技横空出世：只需要上传一张照片，再加上一段语音，就能生成一段与语音完美同步的动画视频！ 不仅嘴巴会动，连表情和姿态都超级自然！简直就像真人一样！
这到底是什么神仙技术？
这项技术叫做“基于扩散模型的层次化音频驱动视觉合成”，是不是听起来很厉害的样子？其实简单来说，就是通过分析语音中的信息，精准地控制图像中人物的嘴唇、表情和姿态，最终生成一段栩栩如生的动画视频。
都有哪些神奇功能？
虚拟角色，想怎么动就怎么动！ 不管是眨眼、微笑，还是跳舞、摆pose，只要你能想到的动作，都能通过语音来控制！
来看看虚拟角色的表演 真人也能玩！ 上传一张你的照片，再加上一段语音，就能生成一段你“开口说话”的视频，简直比变魔术还神奇！
真人版效果更惊艳 还能控制表情和姿态！ 想要生成不同情绪的动画？没问题！开心、悲伤、愤怒……各种表情任你挑选！
表情、姿态，想怎么变就怎么变 一人千面，随意切换！ 想让不同的人说出同一段话？没问题！这项技术还能根据语音，生成适应不同角色身份的动画效果。
不同角色，自由切换 唱歌也没问题！ 想让你的虚拟形象一展歌喉？没问题！只需要上传一段歌曲音频，就能生成一段与歌声完美同步的歌唱动画！
技术这么牛，效果怎么样？
根据研究团队的介绍，这项技术生成的动画，无论是嘴唇同步，还是面部表情的自然度，都比现有的方法有了显著提升。
更厉害的是，它还能适应不同的肖像风格，比如素描、绘画、AI生成图像等等，甚至连雕塑都能“动”起来！
未来，这项技术将会在虚拟偶像、影视制作、游戏动画等领域大放异彩！ 🤩
想了解更多？
项目及演示：https://fudan-generative-vision.github.io/hallo/#/ 论文：https://arxiv.org/pdf/2406.08801 GitHub：https://github.com/fudan-generative-vision/hallo
原文作者：AI Insights；如有侵权，请联系管理员删除。
最新文章
- 今晚，这是要上天吗？！操纵鼠标键盘，玩转电脑，Claude 新版本来袭，推理评分力压OpenAI O1！
- 深夜惊雷：Adobe新AI让2D变3D，设计师们的饭碗要保不住了？
- 时薪48美元招募“机器人陪练”？特斯拉这波操作，背后真相惊人
- 谷歌AI黑科技：咳嗽一声，就知道你有没有病
- 手机秒变AI大脑！微软开源Phi-3.5-vision，颠覆视觉推理？！
- GPT-4语音开源版？！这个AI竟然还能演戏讲段子！
- 96%老板狂喜，71%员工崩溃！AI究竟是蜜糖还是毒药？
- 缺少爆款笔记？看看这个手机端小红书笔记批量采集工作流
- AI训练卷疯了？Salesforce开源一万亿Token数据集
- AI 竟然能记住你的喜好？Stable Diffusion黑科技，从此告别“撞画”！
