动作和表情

MediaPipe4U 的动作和表情套件,将 Google MediaPipe 技术带入 Unreal Engine ,可以通过普通摄像头、视频文件、图片等媒体, 实时的驱动 3D 角色(数字化身)。

理论上,MediaPipe4U 支持驱动任意的 3D 角色,包括 Mannequin, VRM, Metahuman, ReadyPlayerMe 等。

功能

  • 全身/半身动作捕捉
  • 手指捕捉
  • 面容表情捕捉
  • 角色移动
  • 动画数据导出(BVH)
  • 从摄像头捕获
  • 从视频(mp4)捕获
  • 从图片(jpg,png)捕获
  • 关节扭曲矫正
  • 动画平滑
  • Ground IK: 让脚可以贴合地面
  • Nvidia AR: 通过 Nvidia 机器 AI 技术,获得媲美苹果 Arkit 效果面部 BlendShape 算解
  • M4U Remoting: Android 设备表情捕捉

Metahuman 视频教程

Youtube (For English)

MediaPipeU Metahuman Tutorials

bilibili (中文)

bilibili

UnrealEngine 5.1 Demo 工程

https://gitlab.com/endink/MediaPipe4U-Demo


Table of contents