让你的照片动起来。这款AI黑科技，轻松实现视频级“灵魂摆pose”

还记得那些年我们P过的照片吗？  僵硬的姿势，尴尬的笑容，简直是黑历史现场。如今，AI黑科技横扫修图界，想让静态照片拥有视频级别的动态效果？ TCAN 项目告诉你：没问题。

TCAN就像一位经验丰富的“动作导演”，它能从视频中提取人物的姿态动作，并将其完美移植到静态图片上，让照片中的人物“活”过来，生成流畅自然的动画视频。

你是不是也有过这样的烦恼：

• 姿势检测出错，生成的动画效果惨不忍睹？
• 生成的视频画面闪烁、动作不连贯？
• 人物动作僵硬，看起来很不自然？

别担心，TCAN 帮你解决这些难题。  它结合了扩散模型和预训练的 ControlNet 技术，即使面对复杂的姿态变化，也能轻松应对：

• “金刚不坏之身”般的鲁棒性:  即使姿态检测出现错误，TCAN  也能生成合理流畅的动画，告别尴尬“穿帮”时刻。
• “行云流水”般的流畅度:  TCAN  生成的视频，人物动作自然流畅，画面稳定连贯，宛如专业视频剪辑师的作品。
• “随机应变”般的适应能力:  无论人物做出怎样高难度动作，TCAN  都能轻松驾驭，生成令人惊叹的动画效果。

💃🕺  比如：将舞蹈动作赋予不同人物

TCAN  究竟是如何做到的呢？

1. 时间一致性，让动作流畅自然

TCAN  引入了“时间层”的概念，就像电影中的分镜脚本，确保视频中人物的动作和外观在时间上保持一致，告别画面跳动和不连贯的尴尬问题。

2. 鲁棒性，应对各种“意外状况”

TCAN  在 ControlNet 中加入了时间层和“姿态驱动温度图”，就像给模型穿上了一层“金钟罩”，即使姿态检测出现误差，也能保证视频质量，减少瑕疵。

3. 避免过拟合，适应各种场景

TCAN  通过冻结预训练的 ControlNet 并引入 APPA 层，避免了模型过拟合于特定数据集，就像一位经验丰富的演员，无论面对什么样的场景，都能轻松驾驭。

4. 多样性和广泛适用性，满足你的各种需求

TCAN  能处理各种姿态和外观变化，无论你是想让照片中的人物跳起热舞，还是想让卡通人物动起来，TCAN 都能满足你的需求。

5. 静态背景处理，突出人物动作

通过“姿态驱动温度图”，TCAN  能有效分离前景和背景，确保背景在动画过程中保持静态，就像舞台上的灯光师，将聚光灯打在主角身上。

TCAN  的“独门秘籍”

• Appearance-Pose Adaptation (APPA) 层:  就像一位“化妆师”，将姿态信息与外观信息完美融合，避免生成图像的纹理质量下降。
• Temporal ControlNet:  就像一位“时间管理大师”，通过时间层解决姿态检测器可能产生的误差，确保生成视频的时间一致性。
• Pose-driven Temperature Map (PTM):  就像一位“背景板”，通过温度图平滑注意力分数，确保生成视频的背景保持静态。

TCAN  的实验结果如何？

研究人员分别在 TikTok 数据集和“怪异”数据集上对 TCAN 进行了评估，结果表明：

• TCAN  生成的视频质量更高，动作更流畅，人物身份和背景也更稳定。
• 用户研究也表明，TCAN  生成的视频更受用户青睐。

![] (https://img.xiaohu.ai/2024/07/Jietu20240719-100332-HD-1.gif)

想要体验 TCAN 的神奇魔力吗？

• 项目及演示：https://eccv2024tcan.github.io/
• 论文：https://arxiv.org/pdf/2407.09012
• GitHub：https://github.com/eccv2024tcan/TCAN

还在等什么？快来体验 TCAN，让你的照片“动”起来吧。

以上就是我的分享，希望你能阅有所获，如果想加入社群可以扫下方的二维码添加我的微信，这里有最新的AI资讯和应用案例，互相交流共同提升，备注交流群，我会拉你入群（为了防止恶意广告营销，让大家有更好的交流氛围，现在进群需要9.9的门槛，希望大家理解），如果对加群不感兴趣也欢迎加我微信围观朋友圈，我会经常更新AI领域的好玩的工具。

另外还有一个好消息，我的免费星球通过试运营啦，现在可以加入了，限时免费，直接扫码即可，无需费用。我会分享有关AI+RPA自动化的流程和一些关于AI方面的咨询，欢迎感兴趣的小伙伴加入