视频 / 音频 AI

构建实时音视频 AI 代理的 Python 框架

构建低延迟实时多模态 AI 应用的开源框架

面向投资分析的 AI Agent 平台，支持多 Agent 协作研究

命令行 AI 背景移除工具，支持图片和视频

35k+ Stars 的开源变声工具，AI 翻唱领域最流行的方案

从基础到高级的 Claude Code 使用技巧合集

Web 界面的 YouTube 视频下载工具，支持队列和格式选择

16k+ Stars 的自托管文件转换器，支持 100+ 格式

全功能自托管有声书和播客管理平台

自托管音频分离 Web 应用，可分离人声、伴奏、贝斯和鼓轨。

一个工作流自动化相关项目，README/简介显示它主要用于：A feature rich command line audio/video downloader

一键实现视频翻译配音，支持 100+ 语言，适配抖音、B站、YouTube 等平台

Lmring 是一个自托管应用，主要用于搭建客服、聊天机器人或客户沟通系统。

仅 0.1B 参数的多语言 TTS 模型，支持 CPU 实时推理

本地 AI 图片管理桌面应用，面向 Stable Diffusion/ComfyUI 图片的元数据搜索和整理。

基于 VITS 的简单易用歌声和语音转换框架

对 VITS / GPT-SoVITS 等模型提供 HTTP TTS API

AI 语音模仿与文本转语音桌面软件

按文件夹组织的自托管照片和视频画廊

本地媒体文件分析工具，偏视频/音频元数据检查。

实时转写、对话和语言学习平台

低延迟全流式零样本 TTS 模型

基于 Jina Embeddings v5 的语义 grep CLI，Apple Silicon 上可用 MLX 本地推理。

面向 celeste-python 的音视频/语音处理或自动化场景，适合做内容处理、字幕、转写或总结工作流。

基于 Whisper 的 Android 语音输入键盘

录音后自动转写并复制到剪贴板的小工具

用 Whisper API 连续转写音频的 Bash 脚本

Linux 上离线优先的原生语音转文字工具

开源数据可视化与 BI 分析平台，Tableau 的开源替代方案

docling java 为 Java 项目提供 Docling 文档解析能力，适合把文档处理接入知识库流水线。

GNOME Shell 离线语音转文字扩展

节点式 AI 图像生成引擎，Stable Diffusion 工作流编排

Qwen3 ASR Studio 是一个视频 / 音频 AI 工具，主要用于接入语音识别、转写或音频 AI 能力。

面向中文学术写作的 GPT 工具，支持论文润色、翻译和图表

用 Python 几行代码构建机器学习演示应用

Oh My Pi 是带 LSP、调试、浏览器和多工具链的终端 AI 编程 Agent。

Llamatik 为 Kotlin 多平台应用提供端侧 LLM、语音转文字和图像生成能力。

ComfyUI 的节点管理和扩展市场工具。

本地运行的开源语音工作室，覆盖语音克隆、实时听写和视频配音。

基于 ONNX 的端侧多语言语音合成，快速、准确、离线可用

前身为 StableSwarmUI，模块化 Stable Diffusion Web 界面，强调易用性和可扩展性

高质量文本转语音，支持少样本克隆和多语言

多功能数据标注平台，支持文本、图像、音频和视频标注

OpenAI 开源语音识别模型，支持多语言转录

自由软件媒体服务器，自托管的 Plex 替代方案

无需微软账号即可使用 Edge 在线语音合成服务

基于音频分析的自托管智能播放列表生成，支持 Jellyfin/Navidrome 等

HuggingFace 官方扩散模型库

可总结 URL、文件、YouTube、播客的 CLI 和浏览器扩展。

把文档、网页和视频内容转成 Neo4j 知识图谱。

跨平台语音识别、合成、翻译和对齐工具集。

面向 Qwen、豆包、Gemini 等 ASR/多模态语音模型的网页操作界面。

可自托管的团队工作区应用。

网易有道出品：多声音、多情感控制的 TTS 引擎

Auto Slides 是面向语音、音频或视频处理的 AI 项目。

MyShell.ai 出品的高质量多语言 TTS 库

最强大且模块化的 AI 内容创作 GUI 和后端

高性能自托管照片和视频管理解决方案，支持 AI 人脸识别和智能搜索

RuView 是面向语音、音频或视频处理的 AI 项目。

可复用的计算机视觉工具库

VoxCPM 是面向语音、音频或视频处理的 AI 项目。

比 OpenAI Whisper 快 4 倍的语音识别实现

macOS 本地语音输入工具，按住热键录音并自动转写粘贴。

用可视化工作流做人机协同数据科学的平台。

把一个 TypeScript intent 文件生成 CLI、MCP Server 和 Web UI 的工具。

开箱即用的预训练文本转语音和语音识别模型

使用 React、CSS 和 SVG 等 Web 技术以代码方式创建视频

本地 NVR 监控系统，集成 AI 物体检测，适合 Home Assistant

基于 Ray + vLLM 分布式架构的高性能 RLHF 框架，支持 PPO/GRPO/REINFORCE++ 等算法

WebAssembly 版本的 FFmpeg，在浏览器中处理音视频

首个在手机本地运行 AI 并控制 Android 的开源 App，基于 Gemma 4

自托管 Chatterbox TTS 模型，提供 OpenAI 兼容 API 和 Web UI

在任意硬件上运行任何模型——LLM、视觉、语音、图像、视频，无需 GPU

ComfyUI 的 ControlNet 预处理器节点包。

sokuji 支持本地与云模型的实时语音翻译。

基于 T5Gemma 的多语种 TTS 与声音克隆模型。

面向亲友小圈子的私密分享自托管应用。

自动为 B 站、YouTube、抖音和本地视频生成总结、笔记和思维导图。

仅需 5 秒音频样本即可克隆声音的开源语音克隆工具。

ComfyUI 的 AnimateDiff 视频生成增强节点。

面向 PostgreSQL 的 AI 数据库助手。

用文本、语音和图片语义搜索本地文件的跨平台桌面应用。

基于 LiveKit 的实时交互式全模态 Avatar 框架。

给 ComfyUI 增加 VoxCPM 语音合成和克隆节点。

实时语音翻译工具。

Qwen3-TTS 微调和声音克隆项目。

基于 ESP32 的开源 AI 语音聊天机器人，接入大模型

支持 STT、TTS、说话人识别的跨平台语音处理工具

手机可运行的轻量级多模态模型，支持图像和视频理解

基于 AI 的音频人声分离 GUI 工具，支持多种模型

微软开源的高质量语音合成模型

可爱的 HTML5 弹幕视频播放器

语音驱动的编辑器命令系统

开源对话 AI 平台，支持聊天机器人和语音助手开发

基于 PyTorch 的端到端语音处理工具包，支持 ASR、说话人识别等

阿里通义实验室的语音基础模型，支持 ASR、语种识别、情感识别和音频事件检测

离线运行 LLM 的轻量桌面/本地 AI 应用。

提供智能辅助的语义标注和知识管理平台

OpenAI Whisper 的实时流式语音转文字工具包

基于 AI 的视频自动精彩片段提取和剪辑工具

自托管的视频/音频下载 Web UI。

用于批量生成产品营销和泛内容短视频的桌面工具。

让 ComfyUI 加载 GGUF 量化模型的节点。

Python 库和 CLI 工具，调用 Google 翻译的 TTS API 生成语音

用于构建、持久化和观测决策型 AI 应用的 Python 框架。

NVIDIA 面向长视频生成的并行推理/训练基础设施。

LiveKit Agents 的 React 语音 AI 前端模板。

带 AI 笔记、TODO、PDF 解析和语音转文本能力的 Markdown 知识库工具。

面向有声书的 Sonarr/Radarr 式自动化管理工具。

中文影视编剧 agent skill，覆盖短片、长片和剧集的剧本流程。

开源 YouTube Shorts 自动生成工具。

用于 AI 图像生成与编辑的 MCP server。

行业领先的 Stable Diffusion WebUI 和创意引擎

通过风格扩散和对抗训练实现人类级别 TTS

基于 Apple MLX 的 TTS、STT 和语音转换库

免费开源的跨平台视频编辑器，CapCut 的开源替代方案

基于 OpenAI Whisper 的实时语音识别，支持流式转录

阿里达摩院开源的工业级语音识别工具包，支持 ASR/VAD/标点恢复/说话人分离

本地运行的语音对话 LLM 方案

构建可靠 LLM 应用的 12 要素原则

基于 ONNX 模型的轻量 Python 语音识别包。

基于 Remotion 的开源 AI 视频引擎，整合语音克隆、字幕、头像和视频生成管线。

高质量开源视频生成模型，支持文本到视频和图像到视频

封装多个 STT 引擎的统一 Python 语音识别接口

单文件 Java 实现的 Llama 3 推理。

Picovoice 的本地离线语音转文字引擎 SDK。

基于 NVIDIA Parakeet/ONNX 的 Rust 高速语音转写和说话人分离库。

Parakeet 语音模型的本地 C++ 推理实现。

Deepgram 实时转写的 Next.js 示例应用。

开源视频托管与分享应用。

VideoHighlighter 是基于本地 Ollama 的视频分析工具，可做画面检索、自动高光和字幕生成。

用 AI 自动生成 TikTok、YouTube Shorts 和 Reels 竖屏短视频的流水线。

Google 跨平台 ML 媒体处理框架，支持手势/人脸/姿态检测

面向创作者的 AI 语音处理 Gradio WebUI，支持 TTS、翻译和视频处理

开源 Android 平台 AI 助手，可在手机上运行本地 AI 对话。

Diffusion Bee is the easiest way to run Stable Diffusion locally on your M1 Mac. Comes with a one-click installer. No de

用 RAG 与 GitHub 仓库对话的聊天助手。

浏览器实时语音处理的 TypeScript 库。

经典的 SD Web 界面

基于 AI 分析的自动视频编辑工具，消除无声片段

开源的音频、音乐和语音生成工具包

超低延迟的语音转文本、意图识别和文本转语音

Apple Silicon 设备上的端侧语音 AI 框架

用 Python 自动生成剪映草稿，实现视频剪辑自动化。

在本地运行和训练文本、音频、嵌入、视觉模型的开源工具

开源故事线/剧本生成工具，支持 AI 驱动的内容创作。

基于 TensorFlow 的实时语音合成（TTS）工具包，包含多种预训练模型。

开源语音 UI 框架，支持构建语音驱动的 AI 应用。

清华 THUDM 开源的视频生成模型系列

越南语语音克隆 TTS 模型

开源短视频 AI 生成和编辑工具

通过 AI 技术为视频自动匹配唇形，支持语音到唇形的自动生成。

开源语音 AI 平台，支持语音识别、语音合成和语音克隆。

AI 音频理解与生成平台

纯 C/C++ 实现的扩散模型推理引擎，支持 SD、Flux、Wan 等模型

追求类人语音效果的开源 TTS 模型

清华智谱开源的文本到视频生成模型

阿里巴巴开源的大规模文本到视频生成模型

阿里巴巴开源的图像和视频生成扩散模型框架