发布日期：2024-08-09 06:45 点击次数：175
原创 破狼 破狼 2024-02-04 00:16 四川
阿里Motionshop：一键AI自动替换视频东说念主物Motionshop简介
阿里通义现实室发布了用3D脚色替换视频中东说念主物脚色的框架Motionshop，旨在完毕AI自动识别视频中的畅通主体东说念主物，并一键替换成深嗜的3D脚色模子，生成不落俗套的AI视频。
Motionshop框架由两部分构成：
· 视频惩办进程，用于索要建造后的配景视频序列。
· 姿态评估和渲染进程，用于生成头像视频序列。通过并行化两个进程，以及使用高性能的明朗追踪渲染器TIDE时刻，完毕了通盘过程在几分钟内就能完成。
Motionshop责任旨趣图片
Motionshop包括以下阶段：
· Character Detection: 通过将文本信息与现存的闭集检测器素雅和会，基于Transformer框架，完毕零样本盘算推算检测。
· Segmentation & Tracking: 在检测到盘算推算后，使用一种视频对象分割追踪要领来追踪像素级的盘算推算区域，该要领由平庸使用的零样天职割要领SAM启动化和优化。与平直使用SAM比拟，时序对应性能获取了普及，以更好地惩办视频分割任务。
· Inpainting: 对图像区域进行视频建造。具体，使用一种轮回流完成要领来规复损坏的进程，使用双域传播要领在图像域和特征域上增强全局和局部的时序一致性，同期，使用一种稀少计策，成都app开发只讨论一部分token，提高服从，缩短内存浪掷，同期保握性能。
· Pose Estimation: 对脚色视频序列欺诈CVFFS要领来估算厚实的东说念主体姿态。使用SMPL东说念主体模子来示意3D东说念主体，这是一种平庸使用的参数化模子，用于东说念主体体式和姿态测度。
· Animation Retargeting: 将评估的体式和姿态重新映射到选拔的3D模子上。然后，将这个模子像原始视频中的脚色相似当然默契地播放。
· Light Estimation: 在新的3D模子替换脚色时，需要与原始视频的光照条目保握一致。Motionshop欺诈光照评估来更好地将新的3D模子和原始场景和会。
app开发· Rendering: 使用一种旅途追踪渲染引擎TIDE来渲染新的3D模子。与精准系统连系合，辅以motion blur, temporal anti-aliasing, temporal denoising等算法。
· Composing: 终末，将渲染的图像与原始视频合成，生成最终的视频。
Motionshop在线体验用户不错在modelscope体验。
· 体验地址：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
· 神气主页：https://aigc3d.github.io/motionshop/
体验智力· 1：上传一个包含齐备东说念主物的视频。
· 2：选拔视频中要替换的东说念主物。
· 3：选拔要替换的臆造脚色模子并点击生成，约莫恭候10分钟即可生成甩掉。
体验甩掉图片
输出视频甩掉：视频中东说念主物被替换为可儿3D猪猪的形象
山东泰山入籍国脚费南多“三停”的事情有了最新进展成都app开发，有消息称“小摩托”续约的条件是大幅上涨薪资，没有得到泰山俱乐部的回应，他有意转投上海申花。
本站仅提供存储就业，通盘本色均由用户发布，如发现存害或侵权本色，请点击举报。