大语言模型(LLM)¶
{: .d-inline-block }
Since v20230805
Commerical License
MediaPipe4U 封装了一个插件,支持本地部署大语言模型(LLM) ,无需 Python 代码或任何外部程序,直接在 Unreal Engine 中启动大语言模型推理功能。
目前支持 CPU 推理,即使你没有昂贵的 GPU ,也能获得大模型 AI 能力。
未来将提供 GPU 推理。
{: .warning}
LLM不包含在免费授权许可中。
LLM是一个商业授权功能,只有 Ultimate 版本的授权许可能够打包此功能。
免费授权版本仅能够在 Ureal Editor 中使用它
Road Map¶
- 本地化部署
- LLaMA2 模型支持
- ChatGLM 支持
- GPU 推理
- Baby LLaMA (自主训练小模型)