跳到正文
10月18日周日
  1. GitHub · 3D 生成新仓库27

    FactCheck RAG:基于 Hybrid RAG 与 OpenAI 的事实核查应用开源

    GitHub 开源项目 FactCheck RAG 结合本地知识库与公共网页(DuckDuckGo)对事实性陈述进行核查,LLM 默认使用 gpt-4o、嵌入模型为 text-embedding-3-small。系统采用语义检索加 BM25 关键词检索,经 Reciprocal Rank Fusion 融合,并检测证据冲突,每条结论附带四项透明审计指标和证据 ID 追溯。支持 PDF、DOCX、TXT、Markdown、CSV 文档导入,提供 Streamlit Web UI,需 Python 3.13+ 与 OpenAI API Key。

  2. GitHub · 灵魂体仓库18

    MNN Chat Android 应用仓库 ETQWFD/HNN-CN-ET 发布,双 ABI 打包多模态本地大模型客户端

    GitHub 仓库 ETQWFD/HNN-CN-ET 提供 MNN Chat Android 应用,通用 APK 同时包含 armeabi-v7a 与 arm64-v8a 原生库。修改点包括 32 位语音识别(sherpa-mnn,基于 alibaba/MNN 3.6.0 源码编译)、应用内自更新、日志页与模型下载健壮性增强。MNN-LLM 在 Android CPU 上 prefill 速度较 llama.cpp 快 8.6 倍、较 fastllm 快 20.5 倍,完全本地运行不上传数据,已在 OnePlus 13 和 Xiaomi 14 Ultra 上测试。

  3. Reddit · r/LocalLLaMA66

    Basalt 为 Qwen3.8 Flash-Next 带来 NVFP4 原生支持与更快 prefill,单张 5090 可跑

    作者在 Basalt 中为 Qwen3.8 Flash-Next 实现原生 NVFP4 支持并加速 prefill,新的 .basalt 包保留原版 NVIDIA experts、dense 层存为 Q6_K。单张 5090(400w)+128GB DDR5 单流下 struct 304 tok/s、prose 183 tok/s,加 5060 Ti 协同后达 479/239 tok/s;64K prompt prefill 达 8,582 tok/s(首 token 7.6 秒)。

    推荐理由:作者给出了 NVFP4 量化后的 PPL、KLD 和 top-1 一致性数据,以及与 Infernix 的同机对比,方便自行复现判断。

  4. Reddit · r/LocalLLaMA50

    Openspline 开源项目:在商用 GPU 上托管实时对话数字人(RTX4090 达 90+ FPS)

    开源项目 Openspline 可为现有语音 AI 智能体添加实时对话数字人层:只需选择一张图片即可在本地 GPU 上生成口型同步的实时视频,5 行代码即可集成任意语音智能体。其 lite 模型在 NVIDIA RTX4090 上可达 90+ FPS,代码已在 GitHub 开源,项目仍处早期阶段。

  5. GitHub · 3D 生成新仓库59

    XE Local AI Engine 1.0.0-rc.2 开源发布,单机本地运行 llama.cpp 等推理服务

    w0rldx 在 GitHub 开源 XE Local AI Engine,当前版本 1.0.0-rc.2,Apache-2.0 许可。单个 ASP.NET Core 进程提供 React 管理 UI、仅 loopback 的 API 和 SignalR,用 SQLite 加密存储,并监督 llama-server、sd-server、whisper-server 子进程做推理,默认运行时为 llama.cpp,可选用 Ollama、stable-diffusion.cpp、whisper.cpp 或云服务商。支持 Windows Portable.zip 和 Linux AppImage 便携自更新安装,提供外部 Agent 通过 MCP 服务器完成安装与运维的 Agentic Support 流程。

    推荐理由:README 把进程架构、运行时选项、安全边界和开发流程都写清了,读者可据此判断这个本地 AI 引擎适不适合自己的部署场景。

  6. GitHub · 去对齐工具与仓库62

    Certo 开源:Agent 声称完成后独立重跑测试与构建验证

    Alessio Ricco 开源了 Certo,一个编码 Agent 验证工具,在 Agent 报告完成且 pytest 通过后,不借助 LLM 独立重跑项目真实的测试、构建、lint 和 typecheck,并返回 verified、retry_exhausted 等六种判定状态,失败状态退出码非零,可用于脚本和 CI。

    推荐理由:作者开源了一个在 Agent 声称完成后独立重跑真实测试与构建的验证工具,并给出六种判定状态和退出码,可直接接入脚本与 CI。

  7. GitHub · 灵魂体仓库28

    GitHub 开源仓库 data-to-decision-ai:一个用 AI Agent 把家庭设备变化变成决策的闭环系统

    GitHub 仓库 thereven3947/data-to-decision-ai 展示了一套小规模闭环"变化智能"系统:将原始配置与运行变化转为带标签的 change stories,由本地开源 LLM(在 Mac mini 上通过 Ollama 以 Metal 原生运行)驱动的只读 Copilot 用自然语言解释,并以人类反馈校准各层。ML 负责分类标注(不确定时弃权交人工),LLM 从不标注。系统以智能家居为演示域、刻意映射电网运维场景,仅本机运行、默认私有,M1–M10 已跑通,M4-04 等里程碑仍在进行。

  8. GitHub · 去对齐工具与仓库55

    roylez 开源 LLM Gateway:Elixir 编写的多供应商 LLM 代理网关

    roylez 在 GitHub 发布 LLM Gateway,一个用 Elixir 编写的 LLM 供应商代理,接受 OpenAI 或 Anthropic 格式请求并自动完成 API 格式互转。支持 OpenAI、Anthropic、OpenRouter、GitHub Copilot、Ollama 等供应商,提供 5xx、超时或限流时的跨供应商故障转移链、虚拟 API 密钥的按模型访问控制、来自 llmdb 的模型元数据、Anthropic 缓存指标归一化、SSE 流式转换,以及 DeepSeek DSML 标记到结构化工具调用的清理;GitHub Copilot 采用全自动设备码授权,支持 Docker 部署和 Elixir Library Mode 直接调用。

    推荐理由:README 详细给出了多供应商路由、故障转移链和 API 格式互转的配置方式,可直接照着部署一套自托管网关。

  9. GitHub · 去对齐工具与仓库49

    QuickHatch:AI 驱动的 Windows 迁移 Linux 助手

    开源工具 QuickHatch 能扫描 Windows 系统、询问偏好后用 AI 生成迁移计划,并通过 SSH 在目标 Linux 机器上自动安装配置桌面环境、驱动、应用和用户账户。它支持 Claude API(claude-opus-4-6 / claude-sonnet-4-6)、OpenAI API、LM Studio、Ollama 等提供商,本地推荐 Gemma 4 26B。项目采用 MIT 许可证,作者提醒 AI 会以 root 执行命令且存在提示词注入风险,建议先在 VM 中测试。

  10. Reddit · r/CharacterAI16

    我认为 C.ai 若找不到买家,最佳出路是开源模型

    一位 Reddit 用户建议,若 Character AI(C.ai)找不到买家而面临倒闭,最佳方案是开源其模型。理由包括:可通过售卖模型授权免除高昂维护成本、让用户重拾 roar 和 soft launch 等受喜爱的旧模型,社区还能自行改进这些模型。作者承认这可能使集中平台分散为多个网站,但认为用户终会找到适合自己的选择。

  11. Reddit · r/LocalLLaMA53

    Qwen Flash Next 在 Mac Mini 上可不满内存运行:SSD 流式不同内存占用的实测结果

    作者分享在 Mac Mini M5 64GB 上通过 SSD 流式运行 Qwen Flash Next(Unsloth UD-Q4_K_XL 量化)的实测结果,模型无需占满内存即可运行。prompt processing 采用 carousel buffering 机制,decode 使用训练出的 lookahead 模型提前从 SSD 取专家;满内存约 29 tks 解码,减 4GB 后约 26 tks,非 LLM 服务空间低于约 18GiB 会出现 swap。项目地址 https://github.com/skeggsguy/Flash-next-ssd。

  12. GitHub · 3D 生成新仓库14

    RabbiJoshy 发布 Fluency-App:Fluency Next 本地优先后继版本

    Fluency Next 是 Fluency 的本地优先(local-first)后继版本,法语语音(French Speech)为首个实现,核心设计支持扩展更多语言和模式。项目以 Python 3.12 为受支持的开发运行时,通过 `make bootstrap`、`make test` 等命令本地引导,开发服务器仅挂载来自独立 Fluency-Workspace 的紧凑发布包,无生产或 GitHub 依赖。当前应用已上线,包含西班牙语、葡萄牙语、捷克语、芬兰语和法语的 Speech 卡组、西语歌手 Lyrics 卡组,以及法葡语的 Artist 模式测试发布。

  13. GitHub · 3D 生成新仓库48

    GenerationEngine:DungeonMind 的 provider 无关推理执行引擎开源仓库

    Drakosfire 发布 GenerationEngine 开源仓库,为 DungeonMind 产品提供 provider 无关的推理执行层,仓库自身持有推理调用逻辑,产品侧保留提示词、schema、工作流与产物持久化。通过 pip 安装后可经 OpenAI、OpenRouter、fal 与 TypeSafe 执行文本、图像生成与结构化输出,支持 json_schema 校验和最多一次结构修复,并可调用 decide() 进行 TypeSafe 二元决策。

  14. GitHub · 去对齐工具与仓库51

    rtl-coverage-agents:用 LLM 智能体对 SystemVerilog 设计做覆盖率引导验证

    Henil-08 发布 rtl-coverage-agents,一组 LLM 智能体在 Verilator 上验证小型 SystemVerilog 设计,流程覆盖读规格、写验证计划与 SVA、生成针对覆盖空洞的激励、跑仿真、分诊失败并判断覆盖率是否足够,再用突变测试检验套件是否真能抓到 bug。内置 dpram 双端口 RAM 和 adder4 加法器两个设计;基准显示定向激励比随机激励更快关掉功能覆盖,但 RAM 上随机激励抓到更多突变体,M10 突变体在 100% 功能覆盖下仍存活。

  15. GitHub · 去对齐工具与仓库43

    Novellaio:多模态 AI 互动故事创作平台与 MCP 智能体引擎

    开源项目 Novellaio 是一个多模态生成式 AI 互动故事创作平台,可逐段生成分支剧情故事书,并配套场景插画、语音旁白与 Web Audio 程序化环境音。它支持 27+ 故事题材、20+ 画风、动态实体知识图谱防止长篇连续性漂移,并通过 MCP 服务器向 Claude Desktop、Cursor IDE 和 Gemini ADK 智能体暴露工具,可导出 EPUB 3.0、主题 PDF 及多比例社交视频。

  16. GitHub · 去对齐工具与仓库62

    agnix 开源:用 702 条规则校验 Claude Code、Cursor 等 agent 配置

    agent-sh 发布开源工具 agnix,用 702 条规则校验 Claude Code、Codex CLI、Cursor、Copilot、Kiro 等 13 类工具的 agent 配置文件,覆盖 CLAUDE.md、SKILL.md、hooks、MCP 配置等。引用 Vercel 研究称语法错误时技能调用率为 0%,工具支持自动修复、GitHub Action 及 VS Code、JetBrains、Neovim、Zed 编辑器扩展,提供 npx agnix 快速体验和浏览器 playground。项目采用 Rust 构建,含 LSP 和 MCP server,MIT OR Apache-2.0 许可。

    推荐理由:原文列出了 702 条规则覆盖的各工具配置文件清单和可自动修复的问题类型,读者可据此判断是否接入自己的 agent 工作流。

  17. GitHub · 去对齐工具与仓库18

    MusicJapanLLC 开源 music-japan-cloud-inference:GitHub 托管的开放权重 LLM 可复现实验计算实验室

    MusicJapanLLC 在 GitHub 公开 music-japan-cloud-inference,一个隔离的 GitHub 托管 Linux 计算实验室,用于可复现的开放权重 LLM 实验,仅使用开放模型和公开代码,不涉及公司私有源码、数据库或客户数据。GitHub 公共标准托管 runner 的 CPU 资源免费,零新增费用;Kaggle/Colab/ZeroGPU/Lightning 等实验性 GPU 服务另行处理,未经验证不承诺 GPU 配额。runner 为临时性质,仅仓库和源码持久保存。

  18. GitHub · 去对齐工具与仓库18

    Java-AI-LLM-Learning-Records:面向 Java 后端与 AI 大模型开发的 5,752 篇学习文档仓库

    GitHub 仓库 suxiangyu138/Java-AI-LLM-Learning-Records 收录 5,752 篇标准化 Markdown 技术文档,面向 Java 后端与 AI 大模型应用开发工程师,按五层金字塔组织,覆盖 Java 核心、微服务、RAG、Agent、MCP、微调与面试冲刺。阶段性开发已于 2026-08-12 落幕,仓库进入维护模式。

  19. GitHub · 去对齐工具与仓库33

    ReqLLM:基于 Req 与 Finch 的 Elixir 统一 LLM API 调用库

    ReqLLM 是一个基于 Req 和 Finch 的 Elixir 库,为各家 LLM API 提供统一的请求与响应接口,提供 generate_text、stream_text、generate_object 等受 Vercel AI SDK 启发的高层 API。目前通过 LLMDB 目录支持 1,205 个模型、21 个已实现的 provider 集成(含 google_vertex_anthropic 命名空间共 1,218 个模型、22 个命名空间),并覆盖嵌入、图像生成、语音、转录、rerank 和 OCR 等 92 个非文本操作模型,fixture 套件含 622 个录制的模型规格。

  20. Reddit · r/LocalLLaMA28

    哪些已过时的旧模型你仍在使用?LocalLLaMA 用户分享仍在用的 Mistral 7B 微调版 Hermes Trismegistos

    一位 LocalLLaMA 用户表示,尽管 Mistral 7B 的微调版 Hermes Trismegistos 在能力和知识上已被更小、功能更多的模型超越,但其结构化和创造力表现使其仍值得保留,会继续下载到新系统。该微调因神秘学数据而富有创意且输出详尽,作者询问大家是否仍在使用旧模型或其微调版本。

  21. GitHub · 3D 生成新仓库58

    ComfyUI-SemBridge 发布,在 ComfyUI 内集成官方 SemBridge 语音与歌唱生成模型

    作者发布 ComfyUI-SemBridge 节点包,将 ASLP-lab 的 SemBridge 模型(论文 arXiv:2608.07462)集成进 ComfyUI,支持中文和英文文本转语音、按对齐乐谱生成歌声以及语音加歌唱的连续生成,输出 mono 44.1 kHz 的标准 AUDIO 类型。模型代码在进程内运行,无需子进程或服务器;在 Windows 11 加 RTX 5090 上用官方仓库全部 10 个示例(4 语音、4 歌唱、2 混合)验证,与官方 SemBridge.generate 输出 16-bit PCM 逐样本一致,并通过 ComfyUI v0.38.0 真实队列测试;歌唱对乐谱的中位音高误差为 0.15 半音。

    推荐理由:作者用官方仓库 10 个示例做了逐样本音频比对和音高误差实测,可信度数据可直接参考后再决定是否装进自己的 ComfyUI 流程。

  22. GitHub · 3D 生成新仓库14

    企业级 RAG 引擎:基于 Azure OpenAI 与 Qdrant 的私有文档问答助手

    GitHub 新仓库 enterprise-rag-engine 展示了一个企业级 RAG 系统,用 Azure GPT-4 与本地 Qdrant 向量数据库实现对 PDF、DOCX 等私有文档的语义检索问答。回答严格基于已导入文档生成,附带精确的 chunk 引用与相似度分数,支持 Qdrant 集合自动重建和系统健康遥测。仓库定位为 MVP,生产路线图包括迁移到 FastAPI 后端、Celery/Kafka 异步导入及 Qdrant 云部署与多租户 RBAC。

  23. GitHub · 灵魂体仓库34

    lokah1945/wrappers:兼容 OpenAI 与 Anthropic 客户端的 API 协议代理仓库

    GitHub 仓库 lokah1945/wrappers 为 OpenAI 和 Anthropic 兼容客户端(包括 Claude Code、Codex 和 OpenCode)提供协议代理,支持多 key 轮换、限速、指标与流式传输。2026-10-11 生产范围为 nvidia-python、nous、openrouter 和 model-registry,已验证模型包括 nvidia/nemotron-3-super-120b-a12b、poolside/laguna-xs-2.1:free 和 liquid/lfm-2.5-2.6b:free;BLACKBOX 与 OpenCode 包装器处于冻结待定状态。

  24. GitHub · 灵魂体仓库41

    开源 LLM 推理平台:在 RunPod 与 Vast.ai 上用 vLLM 和 SGLang 部署 Llama 3.1 8B 与 Qwen3 8B

    一个面向生产环境的开源 LLM 推理平台,可在 RunPod 和 Vast.ai 等廉价 GPU 云上部署 Llama 3.1 8B(AWQ 4-bit,约 10 GB 显存)与 Qwen3 8B(fp8,约 8 GB 显存),同时支持 vLLM v0.30.0 和 SGLang v0.5.20 两种引擎,并通过 LiteLLM 代理网关做流量 A/B 分流。平台基于 KEDA 按 Prometheus 队列深度和 KV-cache 压力自动扩缩容,提供 Prometheus + Grafana + Loki 全套可观测性、机密加密、NVMe 模型缓存(重复启动约 30 秒)以及 Velero 每日集群备份。

  25. GitHub · 灵魂体仓库27

    UC-BnB-LLM:用 LLM 探索单元组合分支的开源研究仓库

    GitHub 开源项目 UC-BnB-LLM 将 LLM4Branch/OpenEvolve 应用于单节点热机组单元组合(UC)问题的分支搜索,已实现 Phase 0 的 UC evaluator 与 BO 接口、Phase 1 的四类 structured branching DSL 与 SCIP 编译回退,以及 Phase 2 的 30 实例人工规则实验。项目提供公开 UC 数据、OR-LIB 200 台 24 小时实例的默认运行方式,以及大规模检查计划脚本 scale_probe.py(加入 --run 才求解)。是否通过 Gate 1 性能门禁由实验结果判定,不预设结构分支优于 SCIP。

  26. Hugging Face · 新模型:abliterated62

    koldfrontier 发布 Swift1.5-Qwen3.8-Flash-Next 的全量 abliterated 去对齐版本

    koldfrontier 在 Hugging Face 发布 ukisai/Swift1.5-Qwen3.8-Flash-Next 的 abliterated 衍生版,对全部 48 层共 24,720 个组件逐权重移除拒绝方向,无训练、无新数据。实测显示未授权框架下的保护性拒绝从 85% 降至 69%,有害请求服从率从 91.0% 升至 94.5%,良性提示的 KL 散度仅 0.0057,但 8 项能力探针丢了 3 项;方向捕获依赖 thinking 开启的提示模式,enable_thinking=False 时有害服从率仅 2.5%。作者定位其为安全研究产物而非安全对齐模型,数字为单模型案例研究。

    推荐理由:原文给出逐组件消融方法与消融前后的拒绝率、KL 散度对照数据,可据此判断这次去对齐实际改变了什么、损失了多少能力。

10月17日周六
  1. GitHub · 3D 生成新仓库33

    开源诗歌工具 PoesIA:把写诗变成像 linter 一样的教学循环

    GitHub 上的开源项目 PoesIA 定位为“诗歌的 linter”,让用户自己写出诗句,由确定性代码检查音节数、重音与韵律并逐行解释修改方法,而语言模型只负责生成草稿、绝不定稿。项目包含 write、scan、workshop、galeria、memoria、armonia 五组命令,支持韵律教学、离线程序化插画(一节一图)和基于 Cloudflare Workers AI(SDXL,1024×1024,每图约 10 秒,免费额度 $0)的在线插画,其 craftsmanship 层刻意用可判定代码而非学习模型来实现,以给出可解释的检查结果。

  2. GitHub · 3D 生成新仓库12

    Signature AI Pixel 开源免费无限 AI 图像生成器

    THE JAH NETWORK 推出 Signature AI Pixel,提供免费且无限制的 AI 图像生成,输入提示词即可生成 1200×800 原创作品,支持下载 SVG/PNG。提示词增强由 Signature Llama 驱动,带设备端确定性回退,并标注所用路径。整个生成器仅两个文件,可下载、离线运行、无需 API key,商品目录与广告记录以 JSONL 数据块形式存储。

  3. GitHub · 灵魂体仓库53

    paperlab-space 0.1 开源发布,用表格数据一行命令评测 LLM

    PaperLab.space 团队开源了 paperlab-space 0.1,用户给 Excel 或 CSV 文件并指定输入列与答案列,选好模型和指标,即可批量评测 LLM。支持 OpenRouter、Gemini、OpenAI、Anthropic、Ollama 等 LiteLLM 兼容模型并行运行,内置编码检测、数据校验、免费档限速与断点续跑,输出 Excel 结果、booktabs LaTeX 表格和记录模型版本、prompt、seed 的 YAML 复现配置,指标含 exact match、accuracy、precision/recall/F1 和 token F1,分词支持中日泰缅文,Apache 2.0 协议。

  4. GitHub · 灵魂体仓库43

    polterguy/magic:Magic 开源全栈应用生成平台,支持 MCP 与自托管

    Magic 是一个 MIT 开源的 Lovable、Bolt、Replit 替代方案,可将自然语言转化为运行在自托管硬件上的全栈应用,包含数据库、安全 API、业务逻辑和前端,无供应商锁定。其 MCP 插件能把每个端点变成 Claude Code、Cursor、Codex 等 Agent 可调用的工具,实测节省约 80% token。官方测试显示 Hyperlambda 比 FastAPI 或 Flask 快约 20×,比 LangChain 快约 50×,比 n8n、Zapier、Make 快 100–1,000×。

  5. GitHub · 灵魂体仓库32

    SCAM-KHEL:防印度“数字逮捕”诈骗的家庭实时防护工具

    SCAM-KHEL 是为 Nebius × NVIDIA Global AI Hackathon 打造的家庭防护系统,实时检测印度"数字逮捕"诈骗中的胁迫话术,支持英语、印地语和 Hinglish,风险分 0-100(≥40 谨慎、≥70 高危、≥85 危急)。它通过内置模拟骗子演示蜜罐拖延战术、触发 Telegram 家庭警报并生成 cybercrime.gov.in 投诉草稿,运行时 LLM 调用走 Nebius Token Factory 的 NVIDIA Nemotron 模型,按快、中、深三档成本分级。

  6. Reddit · r/LocalLLaMA61

    Otaku:面向本地引擎的创意写作 LLM 前端开源发布

    作者发布开源 LLM 前端 Otaku,主打本地引擎上的创意写作与角色扮演,定位为 SillyTavern 的替代品。提供 Web UI 和终端两种界面,支持自动检测 llama.cpp、KoboldCpp、oMLX 和 LM Studio 本地安装,也可接 OpenRouter 等云端;新功能包括双向角色卡库、类 NovelAI 的故事模式、图片保留在上下文、网页搜索、上下文超限后用摘要替换中段等,通过 uv 安装,仓库在 https://github.com/enclavum/otaku。

    推荐理由:作者本人发布的开源前端,说明了上下文压缩与角色卡提取的具体机制,适合关注本地创意写作部署的人参考。

  7. Reddit · r/LocalLLaMA56

    llama.cpp 新增 Aleph Alpha 的 Kolibri-1 模型支持

    llama.cpp 通过 PR #30673 新增对 Aleph Alpha 的 Kolibri-1 模型支持,作者称在等待 GGUF 权重。该模型是 78B 总参数、每 token 激活约 3.46B 的 MoE 推理模型,主打德语和英语,支持显式推理模式与工具调用,上下文长度 1,048,576 tokens(服务建议不超过 262,144),FP8 权重约占 78 GB 显存,最低需 2× A100 80GB 或 1× H200,采用 Apache 2.0 许可,模型卡见 https://huggingface.co/Aleph-Alpha/Kolibri-1。

  8. GitHub · 3D 生成新仓库48

    Ramakm/RAG:本地优先的开源 RAG 项目合集,含 BrowseAI 与 OmniRAG

    GitHub 仓库 Ramakm/RAG 推出本地优先的开源 RAG 项目合集,覆盖摄入、清洗、分块、嵌入向量、向量检索到有据生成的完整链路,基于 Ollama 无需 API key。首个项目 BrowseAI 将任意网站 URL 变成可对话知识库,用 FastAPI、sentence-transformers、FAISS 实现带可点击引用的流式回答;OmniRAG 结合 PyMuPDF、Whisper、CLIP、Tesseract 支持文档、图片、音视频的多模态 RAG,答案可引用页码、图片与时间戳。需 Python 3.10+,MIT 协议开源。

  9. GitHub · 3D 生成新仓库17

    avakado0 开源 ai-video-gen-aws:基于 AWS 的低成本按需 AI 视频生成架构

    GitHub 新仓库 avakado0/ai-video-gen-aws 提出一套在 AWS 上按需生成 AI 视频的成本优化架构,目标是空闲时近零成本:GPU 仅在任务排队时以 Spot 实例(g4dn.xlarge / g5.xlarge)运行,并支持从零扩缩容。技术栈包括 CloudFront、Cognito、API Gateway + Lambda(FastAPI)、SQS 队列与 S3 存储。目前架构设计与图表已完成,Terraform、API 和 worker 尚未开始开发,采用 MIT 许可证。

  10. GitHub · 3D 生成新仓库38

    Synapse RAG 开源:基于 LangGraph 2.0 的智能体 RAG 知识聊天机器人

    开源项目 Synapse RAG 上架 GitHub,是一个基于 LangGraph 2.0 StateGraph 流水线的智能体 RAG 知识聊天机器人,集成 ChromaDB、FastAPI 和 React 前端。它支持 Router/Retriever/Synthesizer/Verifier 四节点流程,提供可点击的可验证引用(来源文件、页码、相似度分数),并可一键配置 Gemini、OpenAI、Groq 或本地 Ollama。项目零配置开箱即用,内置离线抽取式合成,无需 API 密钥即可运行,含用户认证与盐值 SHA-256 密码哈希。

  11. GitHub · 去对齐工具与仓库27

    LiteLLM-Chinese:为 LiteLLM AI Gateway 管理面板引入简体中文本地化

    wulinwei959/LiteLLM-Chinese 项目基于 BerriAI/litellm 的 ui/litellm-dashboard,用 next-intl 的 without i18n routing 模式为管理面板引入 zh-CN 本地化,英文保持默认语言。截至 2026-10-13,分支已同步上游 v1.105.0,核心管理页面完成,批次 24 进行中;11308 条测试中 11307 通过(99.99%),Docker 构建已修复,剩余 add_model、Settings、view_logs 等共享组件长尾待汉化。

  12. GitHub · 去对齐工具与仓库69

    self-hosted-ai-stack:Docker Compose 一键部署本地 AI 全栈

    bernard8209 发布 self-hosted-ai-stack 仓库,用 Docker Compose 一键部署本地 AI 栈,集成 Ollama 推理、AnythingLLM 聊天界面、LiteLLM 网关、Whisper 语音转写、Kokoro TTS、Docling 文档解析和 MCP 工具等服务。默认密码保护并自动生成 API 密钥,支持 NVIDIA CUDA 加速与 linux/amd64、linux/arm64 双架构,另提供最低约 4.5 GB 内存的轻量组合,如 chat-only、rag-pipeline、voice-pipeline 等,并附部署、安全、备份与升级指南。

    推荐理由:README 给出了各服务端口、内存占用和轻量组合清单,读者可按 4.5 GB 起的配置挑选需要的自托管方案。

  13. GitHub · 灵魂体仓库42

    arxiv-to-prompt:把 arXiv 论文转成单一 LaTeX 源文件的命令行工具

    开源命令行工具 arxiv-to-prompt 可将 arXiv 论文下载并展平为单一 LaTeX 源文件,供 LLM 提问使用,通过 pip install arxiv-to-prompt 安装。工具会自动定位含 \documentclass 的主 tex 文件、解析 \input 和 \include,并支持 --no-comments、--no-appendix 去除注释与附录,以及 --token-count 统计 token 数(示例中 33332 降至 18370)。它还提供 --section 按路径提取章节、--copy 复制到剪贴板和 Python API,可与 llm 库配合直接对话论文。