动作和表情
MediaPipe4U 的动作和表情套件,将 Google MediaPipe 技术带入 Unreal Engine ,可以通过普通摄像头、视频文件、图片等媒体, 实时的驱动 3D 角色(数字化身)。
理论上,MediaPipe4U 支持驱动任意的 3D 角色,包括 Mannequin, VRM, Metahuman, ReadyPlayerMe 等。
功能
- 全身/半身动作捕捉
- 手指捕捉
- 面容表情捕捉
- 角色移动
- 动画数据导出(BVH)
- 从摄像头捕获
- 从视频(mp4)捕获
- 从图片(jpg,png)捕获
- 关节扭曲矫正
- 动画平滑
- Ground IK: 让脚可以贴合地面
- Nvidia AR: 通过 Nvidia 机器 AI 技术,获得媲美苹果 Arkit 效果面部 BlendShape 算解
- M4U Remoting: Android 设备表情捕捉
Metahuman 视频教程
Youtube (For English)
bilibili (中文)
UnrealEngine 5.1 Demo 工程
https://gitlab.com/endink/MediaPipe4U-Demo