跳到正文
10月23日周五
  1. GitHub · 灵魂体仓库19

    thackerhelik/finetuningcourse:基于 TinyLlama-1.1B 的三阶段 LLM 后训练微调课程仓库

    GitHub 仓库 thackerhelik/finetuningcourse 提供端到端的三阶段 LLM 后训练流程(Domain Adaptation → SFT → DPO),将 TinyLlama-1.1B 适配到药理学领域,并通过 Ollama 本地部署。仓库包含 data、experiments/metformin、notebooks 目录及 export_to_ollama.py 导出脚本,目前尚无 star 和 fork。

  2. GitHub · 灵魂体仓库56

    开源自托管 AI Agent 平台 Chatter 发布,集成 Telegram 与桌面端控制

    NikitaCherepov 在 GitHub 开源了多平台 AI Agent 系统 Chatter(AGPL v3.0),Agent 跑在服务器上,通过 Telegram bot 与 Electron 桌面端连接同一账号,可一键分享给朋友或家人。系统包含 backend-api、desktop-app、Telegram bot、admin-panel、chatter-manager、webapp-notes 和可选 voice-service,各组件以 Docker Compose 编排;模型定价自动从 OpenRouter 拉取,内置 Pinecone 向量记忆、语音唤醒与 TTS、智能家居、邮件、网页浏览、多角色聊天和 Runbook 等功能,支持按用户设预算限额。

    推荐理由:原文完整给出了组件结构、安装命令与安全机制细节,读者可以直接评估这套自托管 AI Agent 平台是否值得自建。

  3. GitHub · 灵魂体仓库16

    API Evangelist 发布 Exa AI 的第三方 API 档案(非官方)

    API Evangelist 维护了一个关于 Exa AI 的独立第三方档案,后者是专为 LLM 和 agent 打造的 web 搜索 API 与 AI 研究平台。该档案覆盖 Search、Contents、Answer、Research、Agent、Monitors、Websets 等端点,延迟从 fast(180ms)到 deep(约10s),提供 Python/JavaScript SDK、MCP server,以及每月 1,000 次请求的免费额度。档案信息全部来自公开资料,Kin Score 与 Agent Readiness 评分为独立评估,公司可免费申请更正、重新评分或下架。

  4. GitHub · 灵魂体仓库26

    SrEnforcer 开源 conjurer-mcp:确定性 MCP 服务器与 VS Code 扩展,供 IDE 智能体访问 Conjurer 规范和 .cnj 项目文件

    SrEnforcer 在 GitHub 发布 conjurer-mcp,一个确定性 Model Context Protocol 服务器及配套 VS Code 扩展,为 IDE 内智能体提供对 Conjurer 规范和 .cnj 项目文件的精确访问。服务器不含语言模型,负责检索、解析、校验和规划,通过 stdio transport 连接 Claude Code 等 MCP 客户端;扩展为 .cnj 文件提供 hover 文档、CodeLens、折叠和校验。项目要求 Node.js 20+ 和 pnpm 10,采用 pnpm monorepo 结构,发布版本附带 conjurer-mcp-X.Y.Z.vsix 安装包。

  5. GitHub · 灵魂体仓库59

    本地个人 AI Agent 桌面应用 Bloks 3 发布,支持 Mac、Windows、Linux 和 iPhone

    Bloks 3 正式发布,这是一款运行在本机的个人 AI Agent 桌面应用,以聊天界面呈现,每个 Agent 底层是 Claude Code、Codex、Gemini CLI 等真实引擎会话或你持有密钥的任意 API。3.0 新增多工作区、Bloks Team 成员协作、按引擎和 Agent 的用量统计与月度限额、卡片化回答、多 Agent 房间协作、审批与规则引擎、可读可撤销的 Markdown 记忆、例程与 Watcher 等能力;数据全部以明文文件存于本机,无后端存储,iPhone 应用仅作为桌面端的远程窗口,配套 Apple Watch 审批。应用免费,源码以 FSL-1.1-MIT 许可公开于 https://github.com/hamedgitty/bloks ,Android 版即将推出。

    推荐理由:原文完整给出了 Bloks 3 的工作区、权限、花费限额与数据落盘结构,读者可以据此评估这套本地 Agent 方案是否值得自部署。

  6. GitHub · 灵魂体仓库33

    job-watch:自动筛选 IT 职位并用 GigaChat 写求职信的 Telegram 机器人开源

    开源项目 job-watch 是一个 Telegram 机器人,每 30 分钟从 Хабр Карьера、Geekjob、Работа России 开放 API 和 Telegram 频道等多个公开来源抓取 IT 职位,按用户的角色、级别、经验、城市和薪资过滤后推送匹配卡片,并通过用户自己的 GigaChat API 密钥根据职位和简历生成求职信。它支持多用户邀请制,GigaChat 密钥用 Fernet(AES-128 + HMAC)加密存储,附 46 个测试,基于 Python 3.12、aiogram 3 与 Docker Compose 部署,采用 MIT 许可证。

  7. GitHub · 灵魂体仓库35

    Rust 编写的终端编码智能体 Bonsai 开源发布

    开源的终端编码智能体 Bonsai 用 Rust 构建,可在交互式 TUI 或无头命令中检查、编辑、运行、调试、验证和审查软件。它支持 OpenAI、Anthropic、MiniMax、Moonshot/Kimi、OpenRouter 等多种模型端点,提供结构化文件编辑、shell 与 PTY 执行、Git、诊断、沙箱、自定义智能体和 MCP 服务器等能力,并支持 JSON 输出接入脚本与 CI。目前为 pre-1.0 版本,预编译包覆盖 macOS 13+ 和 Ubuntu 22.04+,采用 MIT 许可证。

  8. GitHub · 灵魂体仓库63

    NewsRing 开源:用配置文件打造你自己的个人 AI 新闻摘要 agent

    GitHub 项目 NewsRing 开源,用户用一个 TOML 配置文件描述兴趣和文风,每天早上自动读取 35 个内置信源,生成 5-10 条个人摘要、分享卡片和静态站点,并可选邮件发送。它不允许 agent 自由浏览,agent 只返回 story id,链接由代码回接;日常运行约三次模型调用、一分半钟、成本远低于一美分,支持多 API key 轮换和模型 fallback,可配合 Gemini 免费档、OpenAI、Anthropic、OpenRouter 或本地 Ollama 使用,MIT 协议。

    推荐理由:作者讲了 agent 不允许自由浏览、链接由代码回接的约束设计,以及对免费档 LLM 限流的应对做法,方法可直接迁移。

  9. Reddit · r/LocalLLaMA50

    LokalBot 推出 Linux 与 Windows alpha 版:本地转写、听写与自动补全

    开源工具 LokalBot 在 macOS 之外发布了 Linux 和 Windows alpha 版,支持会议转写、本地模型笔记、听写、跨应用自动补全和工作上下文的智能体访问。工具默认本地运行,也可接入自有推理设施或其他服务商;移植版用 Rust + GPUI 构建,作者称用智能体集群三天完成。Linux/Windows 默认模型栈为 Qwen3-ASR-0.6B(转写)、Qwen3.5 4B(笔记与聊天)、LFM2.5 1.2B(自动补全)、EmbeddingGemma 2(语义搜索)、pyannote + TitaNet(说话人分离),模型可在设置中更换。

  10. Reddit · r/LocalLLaMA24

    PolyStrata 体验极佳但仍有自定义模型加载问题

    Reddit 用户实测 PolyStrata 后给出 10/10 好评:在 24GB(8+16)内存池上运行 Q3 量化的 CyberTiel,速度达 Ornith1.5 9B 的 2 倍,每秒 50-90 tokens,且能完成 Ornith 无法处理的任务。缺点是 CyberTiel 未被官方支持,需将 GGUF 文件命名为 TielCoderQ3.gguf 才能加载,导致界面仍显示 TielCoder;手动编辑 models.json 和创建 run.sh 后可用,与 Pi Agent 同步良好,但 Pi 缺少 reasoning budget 参数。

  11. Reddit · r/LocalLLaMA62

    llama.cpp PR #29864 重构 Intel XMX 矩阵引擎,B70 投机解码速度大幅提升

    /u/nickm_27 实测 ggml-org/llama.cpp 的 PR #29864 重构 Intel XMX 矩阵引擎后,B70 在 SYCL 下投机解码速度大幅提升,测试模型为 Muse Glimmer Q6_K (30B) 搭配 DFlash2。9 项任务总耗时从 46.86 秒降至 26.68 秒,各任务 tok/s 普遍从约 36-53 提升到约 53-88;作者说明因 token 验证成本显著降低而调大了 n-max,接受率从 0.7845 降到 0.363 属预期现象。

    推荐理由:作者实测了 llama.cpp 重构 Intel XMX 矩阵引擎后 B70 的投机解码速度,前后总耗时从 46.86 秒降到 26.68 秒,数据完整可复现。

  12. Reddit · r/LocalLLaMA50

    Muse Spark 816B 在 10× A40 上跑通:TensorSharp 与 llama.cpp 多 GPU 推理对比

    开源 .NET 推理引擎 TensorSharp 在 10× NVIDIA A40 上运行 Muse Spark 816B(42B 激活参数,Unsloth UD-IQ3_XXS 量化,约 316 GiB 权重),并与 llama.cpp 对比。张量并行下 TensorSharp 达 22.6 tok/s 解码、4 并发 45.7 tok/s,层切分下 4K prefill 达 1346.8 tok/s,比 llama.cpp 快 2.07×;层切分 prefill 吞吐比张量并行高 4.6×。质量对比中 Top-1 一致率约 98.8%,功能检查层切分 13/14、张量并行 14/14 通过。

  13. GitHub · 3D 生成新仓库18

    Lesson-Lab-backend 开源:AI 自动生成课程并按质量标准自我纠错的系统

    GitHub 新仓库 Lesson-Lab-backend 构建了一套 AI 课程生成系统,输入技术主题后自动生成面向印度 12 岁毕业生的入门课程,按 Accuracy、Beginner-friendly 等六项标准评估,失败时最多重试 2 次(共 3 次生成)。后端采用 Django、Django REST Framework、LangChain、Groq 和 SQLite,前端为 Next.js,系统还会将重复失败模式存入数据库以跨次改进生成质量。

  14. GitHub · 3D 生成新仓库19

    AssessMate:面向 CBSE 与州纲学生的 AI 评估与诊断学习平台开源

    GitHub 新开源项目 AssessMate 是面向 CBSE 与州纲(X、XII 年级)学生的 AI 评估、练习与诊断学习平台。它基于 NCERT 和州教材 PDF 构建 RAG 管线,使用 BAAI/bge-small-en-v1.5 嵌入与 ChromaDB Cloud 检索,并调用 Google Gemini 生成题目和批改打字与手写答案。平台提供分项诊断指标、教师 portals 的 6 位访问码组卷功能,以及考试中的 Mate AI 助手给予提示但不直接给答案。

  15. GitHub · 3D 生成新仓库56

    hwx61514 发布 codex-api-imagegen:在 Codex 中复用本机 API 配置生成和修改图片

    hwx61514 在 GitHub 开源了 codex-api-imagegen,一个让 Codex 通过本机已有 API 中转配置和密钥生成、修改图片的 skill,默认使用 gpt-6.1-sol 加 gpt-image-2,无需 OpenAI SDK,支持 Python 3.11+。项目要求中转支持 Responses API 的 image_generation 工具且上游账号有对应权限,不读取 ChatGPT OAuth token、不在聊天中索取 key,脚本只提交一次请求、不覆盖旧文件,并附带覆盖认证选择、断流、脱敏等场景的单元测试。

  16. GitHub · 3D 生成新仓库18

    ai-task-manager-backend:基于 Node.js 与 Groq AI 的任务管理 REST API 开源仓库

    GitHub 上开源了一个任务管理 REST API 项目,采用 Node.js、Express.js 与 MongoDB(Mongoose)构建,并集成 Groq Cloud(Llama 3.3 / Llama 3,默认 llama-3.3-70b-versatile)实现 AI 任务拆解,可生成结构化计划、优先级、预估工时和执行步骤。项目提供完整任务 CRUD、集中式错误处理、分层架构,并附带 Postman Collection v2.1 测试集合;Groq Cloud 提供免费额度 API Key。

  17. GitHub · 3D 生成新仓库31

    Cortex 开源:多模型网关与受限 AI 智能体协同平台

    开源项目 Cortex 在 GitHub 发布,是一个生产级多模型 AI 网关与智能体协同工作平台。它统一路由 Google Gemini、OpenRouter、Groq LPUs 和 NVIDIA NIM,采用"零成本优先"策略(如 OpenRouter nvidia/nemotron-3.5-lightning:free),通过 SSE 实现亚秒级流式输出,并支持任务分解、受限工具执行和 artifact diff。平台基于 React 19、GraphQL Yoga 与 Express 构建,支持多租户数据隔离、JWT HTTP-only cookie 认证及零 LocalStorage 泄露,7 个测试套件全部通过,采用 MIT 许可证开源。

  18. GitHub · 3D 生成新仓库16

    manyaa134/AI-Smart-Sustainable-School-Complete:用合成数据的校园资源预测 Class 12 项目

    GitHub 仓库 manyaa134/AI-Smart-Sustainable-School-Complete 是一个 Class 12 项目,用模拟学校数据演示资源使用预测,明确数据非真实测量、预测仅为点估计。项目提供 Streamlit 仪表盘,按 65%/15%/20% 划分数据,对比均值基线、Linear Regression、Decision Tree 和 Random Forest,需 Python 3.11 环境,并通过 pytest -q 验证。Orange 工作流需按指南自行构建保存,且不会自动驱动仪表盘。

  19. GitHub · 3D 生成新仓库36

    Signal-Scout:用公开帖子提取意向信号、自动生成冷邮件开场白的概念验证工具

    GitHub 开源项目 Signal-Scout 是一个销售拓客概念验证工具:监控潜在客户在 Twitter、LinkedIn、Bluesky 的公开动态,用 LLM 提取意向信号和语气,并基于锚点帖子生成个性化开场白。项目默认使用 Cerebras 的 llama3.1-8b(每天 1M tokens 免费),也兼容 Groq、OpenRouter 等 OpenAI 兼容接口,可通过 GitHub Actions 每天 13:00 UTC 定时运行,结果以静态 HTML 仪表盘展示,无需数据库。

  20. Reddit · r/LocalLLaMA63

    4x Intel B65 实测:调大 vLLM prefill chunk 使 Qwen3.8-Flash-Next 预填与 TTFT 提速约 30%

    /u/SamSausages 在 4x Intel B65 上用 vLLM 0.30.0 实测 Qwen3.8-Flash-Next(W4A16),把 prefill chunk 从默认 1024 调到 8192/16384 后,32K prompt 预填达 5,142 tok/s,261K 首 token 时间从 190.2 s 降到 97.6 s。代价是 KV cache 池从 587,416 tokens 缩到 337,952,多会话下最长停顿从 0.61 s 增至 2.89 s,但作者称聊天和后台 agent 场景中停顿不明显。完整数据见 https://b65.thekaiser.us/by-model/qwen38-flash-next/prefill/

    推荐理由:作者用同一套基线实测了 vLLM 不同 prefill chunk 大小的速度、TTFT 和 KV cache 代价,数据可直接迁移到多卡 XPU 部署调参。

  21. GitHub · 去对齐工具与仓库23

    Mirkotorrisi 开源 llm-finance-assistant:可切换 Claude/OpenAI 后端的财务助手 Agent 网关

    GitHub 上的 llm-finance-assistant 是一个 FastAPI 网关服务,连接 Web UI 与 Finance API,聊天后端可在 Claude Code(默认,headless claude)与 OpenAI API(LangGraph 流水线,默认模型 gpt-4o-mini)之间切换。它提供 SSE 流式聊天端点,并支持账单 CSV/Excel/PDF 批量解析分类、Amazon 订单匹配和网页搜索识别商户等批处理任务。

  22. GitHub · 去对齐工具与仓库34

    EviMed Science:AI 原生智能体平台,主打循证医学专业层

    EviMed Science 是一个托管多租户智能体平台,以通用工作助手为基础,叠加循证医学专业能力包,覆盖 meta 分析、孟德尔随机化、药物安全分析等场景。平台强调证据溯源:每条结论标注 direct、synthesized 或 derived 类型并逐字引用来源,统计由确定性 R 引擎计算,模型只负责解读与写作。产品仅为托管 Web 应用,桌面版已于 2026-09-04 删除。

  23. GitHub · 去对齐工具与仓库56

    Rust 从零实现的 LLM 推理服务器 denno-beta 开源,兼容 Anthropic Messages API

    ahinore 开源了用 Rust 从零实现的 LLM 推理服务器 denno-beta,推理内核不依赖 candle 等现有库,兼容 Anthropic Messages API,可直接配合官方 Anthropic Python SDK 使用。支持 GPT-2 124M 与 Qwen2.5-0.5B–7B-Instruct、Qwen3-0.6B、Qwen3.5 等模型,默认 CPU 运行,可通过 --features cuda 卸载到手写 CUDA 内核(13,252-token prefill 从 395.8s 降到 12.2s)。

    推荐理由:推理内核完全从零手写并保持精确解码约束,附 CUDA 加速与可视化遥测,适合想从代码理解 LLM 推理全流程的读者。

  24. GitHub · 去对齐工具与仓库48

    kubesearch-mcp:让 LLM 搜索 kubesearch.dev 的 MCP 服务器

    kubesearch-mcp 是一个 MCP 服务器,让 LLM 通过 kubesearch_search_releases、kubesearch_grep_values 等工具搜索 kubesearch.dev 上数百个 home-ops Kubernetes 仓库的 Flux HelmReleases 与 Argo Applications。它将 kubesearch.dev 的 SQLite 索引(repos.db 约 7 MB、repos-extended.db 约 37 MB)下载缓存到本地用 SQL 查询,支持离线使用;还可临时沙箱化克隆仓库供模型审查实际 manifests,并内置常驻 top 仓库池(默认 15 个)支持 repo_grep_all 一次性跨库搜索。

  25. GitHub · 去对齐工具与仓库54

    DeckZero 开源:本地 LLM 驱动的 Canva 式演示画布工具

    shreytalreja25 在 GitHub 发布开源工具 DeckZero,一个 100% 离线、本地优先的可视化演示工作室,复刻 Canva 的自由画布操作,采用 Apache 2.0 协议。它通过标准 HTTP API 连接 Ollama、LM Studio 或 llama.cpp(支持 Qwen 2.5、Llama 3.3、DeepSeek-R1)生成结构化 JSON 幻灯片,内置 RAG 上下文库可摄取 PDF、Markdown 和 CSV 并为幻灯片要点挂可验证引用徽章,支持矢量 PDF 导出和 .deckzero 项目文件,无遥测、可运行在气隙环境。

  26. GitHub · 去对齐工具与仓库21

    SupportOps:基于 Gemini 的本地优先工单分类原型项目

    GitHub 开源项目 SupportOps 是一个本地优先的支持工单分类原型,使用 Gemini(默认 gemini-2.5-flash)对工单分类、分配优先级并起草基于 FAQ 的回复草稿,供人工审核导出。项目采用 Pydantic 校验、SQLite 审计记录、幂等跳重与限速重试(请求间隔至少 15 秒),支持 mock 与 live 两种模式,但不发送回复、不改动客户账户,也非生产就绪系统。

  27. GitHub · 去对齐工具与仓库66

    MathProof Skill v0.2.0 发布:用 Lean 4 对抗式审计 AI 数学证明

    作者发布 MathProof Skill v0.2.0,一个让 AI 在接受数学证明前先尝试推翻它的技能,核心流程为 Claim、假设、对抗审计、依赖图、证明、二次审计、Lean 校验。该技能用 Lean 4 + Mathlib 形式化命题并运行检查器,拒绝 sorry、自定义公理和内核绕过,仅通过检查的结果才算机器校验;仓库含六个带真实运行输出的评测案例(含梯度下降 O(1/k) 速率证明)、四种模式(PROVE/AUDIT/EXPLAIN/RESEARCH)和五种判定结果,可通过 /plugin install mathproof-skill 安装到 Claude Code,MIT 许可。

    推荐理由:作者给出 Lean 4 + Mathlib 的机器校验流程和六个带真实运行输出的评测案例,读者可以照着复现这套对抗式证明审计方法。

  28. GitHub · 去对齐工具与仓库49

    Meeting Desk:开源自托管应用,用 AI 将会议记录转化为行动项写入 Google Sheets

    Meeting Desk 是一款自托管开源 Web 应用,可从 Google Meet 的 Notes by Gemini 文档、recap 邮件或粘贴的文本中用 AI 提取行动项、负责人、截止日期、决策与风险,经人工审核后作为行写入现有 Google Sheets,保留布局、公式和下拉选项。它支持 Gemini、Claude、OpenAI、OpenRouter、Amazon Bedrock 及 Ollama 本地模型,可发布摘要到 Slack、Google Chat、Mattermost 或 Discord,并以单个 Docker 镜像附带 Helm chart 部署。

  29. GitHub · 去对齐工具与仓库51

    OpenAccountants 发布覆盖 231 个辖区的免费 AI 税务技能库并开放 MCP 接入

    OpenAccountants 上线免费 AI 税务技能库,含 1,903 条技能、覆盖 231 个辖区,其中 33 条经会计师评审,其余为标注来源引用的草稿;已回答 20,976 个问题。技能可经 MCP 连接器接入 Claude、ChatGPT、Cursor、Windsurf 等,使回答可引用具体技能及评审状态,也提供 pip 包 openaccountants-mcp 与手动下载 packages/ 目录的方式。每条技能处于会计师评审或带源引用草稿两种状态之一,夜间同步含数学检查、官方来源监测、按月预算重推导与 AI 即兴发挥测试;代码采用 AGPL-3.0,技能内容为 OpenAccountants Guide License v1.0。

  30. GitHub · 去对齐工具与仓库44

    mobileLLM:macOS 与 iOS 端开源本地 Agent 聊天应用

    开源项目 mobileLLM 在 GitHub 发布,这是一款面向 macOS 和 iOS 的本地优先 Agent 聊天应用,原生 Swift + SwiftUI 编写,支持 Apple MLX、llama.cpp 和 Apple Intelligence 三种引擎通过统一协议在设备端运行开源权重模型,无需账号和遥测。应用内置持久化 Agent 运行时,支持工具调用、MCP、子智能体、并行工具批处理和动态工作流,并提供 OpenAI 兼容的在线模型接口;Apple Intelligence 模型在符合条件的设备上 0 字节可用,要求 iOS 26 / macOS 26。

  31. GitHub · 去对齐工具与仓库49

    RedDragon:将 15 种 tree-sitter 语言、COBOL 与 HLASM 降低到统一 IR 并在 VM 上执行的开源项目

    GitHub 开源项目 RedDragon 将 15 种 tree-sitter 语言、COBOL 和 HLASM 源码降低到统一的 38 opcode 三地址码 IR,并在 VM 上确定性执行,面向不完整的遗留代码。源码与依赖完整时解析、降低、执行全程 0 次 LLM 调用,仅在信息缺失时用 LLM 修复或生成占位值;默认运行包含 17,418 个测试,并附有基于 NIST CCVS 的 COBOL 一致性快照(最新为 2026-10-19)。

  32. GitHub · 去对齐工具与仓库61

    agent-broker 发布:基于 Redis 的多进程 Agent 调用权限协调库

    Devpaul-01 发布 agent-broker,一个基于 Redis 的纯权限门控库,已上线 npm,需 Node.js 22+ 和外部 Redis。它不代理实际调用,只在调用前原子地裁决共享预算、委托深度、并发与熔断状态,调用后由调用方回报结果;另附独立的 Python 实现,两者用相同的 Redis 键和 Lua 脚本,可跨语言共享同一状态。

    推荐理由:作者本人发布了这个多进程 Agent 协调门控,README 明确划清了与 LLM 网关的边界并给出信任模型与缺陷说明。

  33. GitHub · 去对齐工具与仓库31

    genai-agentic-lab:GitHub 上的生成式 AI 智能体实验仓库

    GitHub 用户 AayushAswal27 开源的 genai-agentic-lab 仓库,收录 chains、prompts、output_parsers、runnables、sequential 与 parallel workflows 等 LangChain 相关实验代码,另含 fine-tuning、huggingface-basics、text_splitters、document_loader、tools 及 youtube-chatbot-rag 等目录,并提供 agent.ipynb 与 requirements.txt。

  34. GitHub · 灵魂体仓库28

    ERDischargeRecommendationsRAG:基于欧洲指南的急诊出院建议 RAG 系统开源

    GitHub 开源项目 ERDischargeRecommendationsRAG 是一套检索增强生成(RAG)流水线,读取意大利语急诊病历,依据欧洲官方指南生成有出处引用的出院建议。系统分为离线与在线两部分:离线解析 PDF 指南并构建 FAISS 索引,在线将病历拆解为查询、多阶段检索后由 LLM 生成结构化建议,意大利语与英语互译可由 LLM 或 DeepL 完成。项目提供 Streamlit 界面,需 CUDA 支持,非 API 部分约需 4Gb VRAM。

  35. GitHub · 灵魂体仓库37

    Quorum:自托管 AI 助手平台,数据不出本地服务器

    开源项目 Quorum 是一个自托管 AI 助手平台,可在企业自有服务器上运行本地模型,未来还将支持多智能体编排,支持多租户、按用户授权。目前已实现 Docker Compose 一键安装、流式对话、附件上传(TXT/Markdown/CSV/PDF/DOCX,单个最大 5 MB)、MCP 工具调用,以及基于 Qdrant 集合的知识库问答。它兼容 Ollama、vLLM、llama.cpp、LM Studio 等 OpenAI 兼容端点,无出站遥测,基于 .NET 10 构建,项目仍处早期开发阶段。

  36. GitHub · 灵魂体仓库58

    mlxtop 3.1.1 发布:本地 LLM 性能监控工具

    mlxtop 发布 3.1.1 版,这是一款本地 LLM 监控工具,将内存压力、分页、GPU 状态与运行时的 tokens/s、prefill 进度、队列等指标并列显示,并用一行结论指出变慢原因如重分页或显存占满。支持 oMLX、vLLM、SGLang、llama.cpp、Ollama、LM Studio 等 13 种运行时的自动检测,本地只读运行、无需 sudo、不上传数据;3.1.1 新增可即时生效的 Settings 页和 mlx-serve prefill 进度,支持 macOS(Apple Silicon)、Linux 与 Windows,MIT 协议开源。

    推荐理由:本地 LLM 排障工具把内存、分页、GPU 与运行时自身指标并排呈现,还给出健康与否的一句话结论,适合排查本地推理变慢。

  37. GitHub · 灵魂体仓库19

    AI Video Director 开源 DEMO:中文想法自动转 Storyboard 分镜和视频生成 Prompt

    GitHub 开源项目 ai-video-directo 可将一句中文视频想法自动转为 Storyboard 分镜和英文 Final Prompt,流程为 Idea → AI Director Analysis → Storyboard → Final Prompt。生成的 Prompt 适配 Kling、Veo、Sora、Seedance、Runway 等视频模型,技术栈为 React + Fastify,AI 部分使用 DeepSeek API。当前为 DEMO V1,暂未接入真实视频生成 API。