开发者工具 / 自托管应用 / Local AI
gpt_server
生产级部署 LLM、Embedding、Reranker、ASR、TTS 和图像模型的服务框架
质量分92
253 Stars
2026-05-09T14:35:21Z
unknown
hard
中文速读
gpt_server：生产级部署 LLM、Embedding、Reranker、ASR、TTS 和图像模型的服务框架。适合：想统一部署多类 AI 模型的团队；需要中文生态服务框架的开发者。不适合：只需要单一小工具的人；不愿维护模型和 GPU 环境的人。核心功能包括：多模型推理服务、OpenAI 风格能力、Docker 部署。快速试用：README 提供安装或快速开始步骤，可按项目说明做小规模试用。部署难度：hard。在当前信息下值得进入候选清单。
适合
- 想统一部署多类 AI 模型的团队
- 需要中文生态服务框架的开发者
不适合
- 只需要单一小工具的人
- 不愿维护模型和 GPU 环境的人
选型答案
gpt_server 适合什么场景？想统一部署多类 AI 模型的团队；需要中文生态服务框架的开发者
gpt_server 的试用和部署门槛如何？已发现 4 个试用、文档或演示入口，可从页面的“快速试用”区域打开。 当前难度标记为“需要经验”，许可证记录为“unknown”。
选择 gpt_server 时要注意什么？只需要单一小工具的人；不愿维护模型和 GPU 环境的人
数据来源和更新时间GitHub 仓库 shell-nlp/gpt_server，最近记录的推送时间为 2026-05-09T14:35:21Z。
标签
Local AI自托管应用Pythonasrembeddingfastchatfunction-callinggpt