Local AI

一键在本地部署类 ChatGPT 界面，使用 Llama 模型

零技术门槛在本地运行 Stable Diffusion 的图形界面工具

支持 20+ LLM 后端的终端 AI 对话工具，Rust 编写

仅 0.1B 参数的多语言 TTS 模型，支持 CPU 实时推理

给 AI Agent 使用的隔离沙箱基础设施，支持代码执行、浏览器操作和安全运行环境。

本地 AI 图片管理桌面应用，面向 Stable Diffusion/ComfyUI 图片的元数据搜索和整理。

Resume Matcher 是一个Local AI 项目，主要用途是：Improve your resumes with Resume Matcher. Get insights, keyword suggestions and 。

Rust 里的本地预训练 AI 模型调用工具

微软面向 Windows 开发者的本地模型 AI 示例库

在 Apple Silicon 上提供 OpenAI 兼容接口的 MLX 模型服务器

本地数据管理平台，内置可训练推荐引擎

生产级部署 LLM、Embedding、Reranker、ASR、TTS 和图像模型的服务框架

Linux 上离线优先的原生语音转文字工具

在本地轻松运行开源 LLM

在消费级硬件上高效运行 LLM 的 C++ 推理引擎

Prompt → 原型/幻灯片/PDF，支持多模型 BYOK 的开源设计工具

evalscope 是大模型、VLM 和 AIGC 评测与性能基准测试框架。

GNOME Shell 离线语音转文字扩展

clawmetry：See your agent think. Real-time observability dashboard for OpenClaw AI agents.

OpenBiliClaw 是面向AI Agent场景的开源项目。

百行代码微调 200+ 大语言模型的统一框架，提供 Web UI 和 CLI

PyTorch 官方本地 LLM 运行框架

osaurus 是 macOS 原生的本地 AI Agent 运行与记忆环境，强调离线和自有模型。

SwanLab 是开源 AI 训练跟踪与可视化工具，支持云端和自托管使用。

LoongForge 是面向 LLM、VLM、扩散和具身模型的训练框架，适合研究训练体系的团队。

阿里巴巴通义千问开源 LLM 系列，支持多语言和长上下文

面向本地 GPU/NPU 的 Local AI 服务端，用 OpenAI 兼容接口运行优化模型。

Llamatik 为 Kotlin 多平台应用提供端侧 LLM、语音转文字和图像生成能力。

面向开源/开权重模型的终端 Coding Agent。

ComfyUI 的节点管理和扩展市场工具。

ClawRouter 用于编排自动化流程或多 Agent 任务。

本地运行的开源语音工作室，覆盖语音克隆、实时听写和视频配音。

基于 ONNX 的端侧多语言语音合成，快速、准确、离线可用

一个本地 LLM 选型 CLI，会根据你的 CPU/GPU/RAM 和实时基准数据推荐能跑且表现更好的模型。

围绕 RAG 检索、索引、重排或溯源的工具。

开源、无遥测的本地大语言模型桌面和 Web 应用，支持文本/视觉/工具调用

通过命令行和本地模型与数十种大语言模型交互的 Python CLI 工具

在浏览器中本地运行 LLM 的私人聊天界面

广泛使用的 LLM 微调训练工具。

用容器快速构建、微调和部署开源 LLM 的平台。

Prisma 是基于 Gemini 的可视化多智能体深度推理引擎。

本地优先的跨 AI 工具记忆层，支持 MCP。

高吞吐量的大语言模型和视觉模型服务框架

基于 Ollama 的开源聊天界面，支持 RAG 和知识库

Lightning AI 出品的高性能模型服务引擎，简化 AI 模型部署

给 LLM 使用的隔离图形桌面沙箱。

agentsilex 用于构建、运行或管理 AI Agent。

Python 异常检测库，支持 60+ 检测器，涵盖表格、时间序列、图、文本和图像数据

面向 LLM 推理服务的 KV Cache 加速层，重点降低长上下文和 RAG 场景的首 token 延迟。

面向多模态 AI 应用的声明式增量后端。

基于 llama.cpp 的本地 LLM VS Code 补全和聊天扩展。

Open Computer Use 桌面 Agent，用于AI Agent、开发者工具。

macOS 本地语音输入工具，按住热键录音并自动转写粘贴。

Claude Cowork 的开源本地 AI Agent 桌面替代品。

在本地运行 LLM 的桌面应用

开箱即用的预训练文本转语音和语音识别模型

基于 Ray + vLLM 分布式架构的高性能 RLHF 框架，支持 PPO/GRPO/REINFORCE++ 等算法

在任意硬件上运行任何模型——LLM、视觉、语音、图像、视频，无需 GPU

可自托管的开源机器翻译服务，支持 30+ 种语言

ComfyUI 的 ControlNet 预处理器节点包。

面向医疗文本处理的本地/自托管 NLP 工具包。

sokuji 支持本地与云模型的实时语音翻译。

searchGPT 用于构建 RAG、知识库检索或文档问答场景。

一键部署和扩展开源 LLM 推理服务

深度求索开源大语言模型，推理和代码能力突出

用于预训练、微调和部署 LLM 的高性能配方库。

OpenAI 兼容的 LLM 推理优化代理。

在 C#/.NET 中高效运行 llama.cpp 模型的库。

用文本、语音和图片语义搜索本地文件的跨平台桌面应用。

本地优先、无向量数据库依赖的知识库引擎。

Qwen3-TTS 微调和声音克隆项目。

管理本地 AI coding 工具的统一仪表盘。

本地运行的 Perplexity 风格 AI 搜索与答案引擎，结合 SearXNG、检索和本地 LLM。

基于 ESP32 的开源 AI 语音聊天机器人，接入大模型

将 Claude Code 请求路由到不同模型（DeepSeek、Ollama、Gemini 等），支持动态切换

手机可运行的轻量级多模态模型，支持图像和视频理解

完全本地化的 AI 深度研究工具

声明式深度学习框架，支持 LLM、多模态和表格数据

SvelteKit 构建的 LLM 聊天应用，驱动 HuggingChat

基于 PyTorch 的端到端语音处理工具包，支持 ASR、说话人识别等

阿里通义实验室的语音基础模型，支持 ASR、语种识别、情感识别和音频事件检测

WeChat ACP Agent 桥接器，用于AI Agent、AI 编程 / MCP。

面向 AI 辅助渗透测试的本地脱敏代理。

离线运行 LLM 的轻量桌面/本地 AI 应用。

开源视觉语言模型，具备 GPT-4 级别的多模态理解

OpenAI Whisper 的实时流式语音转文字工具包

让 ComfyUI 加载 GGUF 量化模型的节点。

面向大语言模型的高性能推理框架。

斯坦福通用生物医学 AI Agent。

NeMo Data Designer 是 NVIDIA NeMo 生态的合成数据生成工具。

Home Assistant 的视觉智能集成。

用于管理模型、数据集和大模型资产的开源后端服务。

纯 C++ 的本地多模型聊天推理实现。

带用户管理和限流的团队 AI 聊天 Web 应用，支持多家模型和 Ollama。

纯 C 的长上下文 LLM 推理和 KV 压缩工具。

本地优先的 Markdown AI Agent 编辑器。

mattermost plugin agents 为 Mattermost 增加多模型 AI Agent 能力，适合已使用 Mattermost 的团队试用。

Stage 本地代码审查分章工具，用于AI Agent、开发者工具。

AI SDK Computer Use Demo，用于AI Agent、开发者工具。

p4mcp-server 是连接 Perforce P4 与大模型工具链的 MCP Server。

cai 可对任意选中文本触发本地 AI、脚本和快捷指令，强调隐私和本地执行。

把 RAG 与 Zanzibar 风格关系权限控制结合的安全检索增强生成示例。

DeepSeek V4 Flash 专用本地推理引擎

在 Discord 中使用任意 LLM（Ollama、OpenAI、Gemini 等），支持多用户协作

本地运行的语音对话 LLM 方案

Beta9 是面向 AI 工作负载的 serverless GPU 推理、沙箱和后台任务平台。

追求极致性能的 LLM 推理引擎。

Provider 无关的 AI 代码审查 Bash 工具。

Keras 3 的预训练模型库。

用于启动和管理 vLLM 服务的命令行工具。

支持多模型的 AI 客户端，集成主流大模型，提供丰富的 AI 功能

快速、小巧、完全自主的 AI 个人助手，支持任意操作系统和平台部署

封装多个 STT 引擎的统一 Python 语音识别接口

Cherry Studio 的 iOS/Android 移动端 LLM 客户端。

基于 Ollama 的本地自动网页研究助手。

把多台家用设备组成 LLM 推理集群。

单文件 Java 实现的 Llama 3 推理。

Java 调用 Ollama API 的客户端库。

Picovoice 的本地离线语音转文字引擎 SDK。

面向 AMD RDNA GPU 的 Rust/HIP LLM 推理引擎。

基于 NVIDIA Parakeet/ONNX 的 Rust 高速语音转写和说话人分离库。

Go 编写的本地优先 AI Agent 桌面应用，强调低内存、隐私和可视化 UI。

让 AI 助手理解 1C:Enterprise 配置并生成 BSL 代码的 MCP Server。

极简本地优先的终端 Coding Agent。

Python 世界最简单的人脸识别 API

运行在终端的个人 AI 编程助手，支持代码执行和文件操作

上海人工智能实验室开源的大语言模型

本地 LLM 模型管理和训练桌面应用

超轻量中文小语言模型，适合个人学习和低资源部署

The simplest way to run LLaMA on your local machine

用于训练并迁移到 SGLang 的 speculative decoding 模型工具。

用于约束 AI agents 的多系统本地沙盒。

本地私有的 OpenAI 兼容 GenAI API Server。

用单个文件分发和运行大语言模型

Apple Silicon 设备上的端侧语音 AI 框架

AI 驱动的本地文件整理工具

开源强化学习卡牌游戏环境，用于研究和训练 AI 卡牌策略。

LLM 应用评估框架，专为 RAG 系统设计

清华大学 THUDM 团队开发的文本到图像生成模型

Fabric is an open-source framework for augmenting humans using AI. It provides a modular system for solving specific problems using a crowdsourced set of AI prompts that can be used anywhere.

清华开源的高效轻量级大语言模型系列