返回搜索GitHub

开发者工具 / Local AI

distributed-llama

把多台家用设备组成 LLM 推理集群。

质量分76
2,936 Stars
2026-04-14T19:51:00Z
unknown
hard

中文速读

Distributed Llama 将模型内存分散到 root/worker 节点,利用多台设备加速本地推理。它适合折腾本地推理集群的高级用户,不适合追求简单部署。

适合

  • 本地 AI 高级玩家
  • 想利用多台闲置设备的开发者

不适合

  • 只想单机一键运行模型的新手

选型答案

distributed-llama 适合什么场景?本地 AI 高级玩家;想利用多台闲置设备的开发者
distributed-llama 的试用和部署门槛如何?已发现 1 个试用、文档或演示入口,可从页面的“快速试用”区域打开。 当前难度标记为“需要经验”,许可证记录为“unknown”。
选择 distributed-llama 时要注意什么?只想单机一键运行模型的新手
数据来源和更新时间GitHub 仓库 b4rtaz/distributed-llama,最近记录的推送时间为 2026-04-14T19:51:00Z

标签

分布式推理本地 LLMC++