Pygmalion推理引擎开源
talkingdev • 2024-02-06
650258 views
Aphrodite引擎可以用于减少VRAM需求，提高AI推理工作负载的吞吐量。Pygmalion推理引擎是一种全新的AI推理引擎，它可以在减少VRAM需求的同时提高吞吐量。该引擎基于Aphrodite引擎并进行了优化，可以在保持准确性的同时提高性能。此外，Pygmalion推理引擎已经在GitHub上公开发布，任何人都可以在上面获取源代码。
核心要点
- Pygmalion推理引擎是一种全新的AI推理引擎，可在减少VRAM需求的同时提高吞吐量。
- 该引擎基于Aphrodite引擎并进行了优化，可以在保持准确性的同时提高性能。
- Pygmalion推理引擎已经在GitHub上公开发布，任何人都可以在上面获取源代码。