大语言模型（LLM）

Since v20230805

Commerical License

MediaPipe4U 封装了一个插件，支持本地部署大语言模型（LLM） ，无需 Python 代码或任何外部程序，直接在 Unreal Engine 中启动大语言模型推理功能。
目前支持 CPU 推理，即使你没有昂贵的 GPU ，也能获得大模型 AI 能力。

未来将提供 GPU 推理。

LLM不包含在免费授权许可中。

LLM是一个商业授权功能，只有 Ultimate 版本的授权许可能够打包此功能。

免费授权版本仅能够在 Ureal Editor 中使用它

LLM Tool

Road Map

  • 本地化部署
  • LLaMA2 模型支持
  • ChatGLM 支持
  • GPU 推理
  • Baby LLaMA (自主训练小模型)

Table of contents