跳到正文
10月24日周六
  1. GitHub · 3D 生成新仓库51

    开源 RAG 引擎 RAGFlow 发布 1.0.0-rc 版本并详述本地部署

    RAGFlow 是一个将 RAG 与 Agent 能力结合的开源检索增强生成引擎,2026-09-29 发布 1.0.0-rc1。新特性包括 Knowledge Compilation(可在文档和数据集层面生成 Wiki、Graph、Tree、PageIndex、思维导图、Timeline 和 Skills)以及 Low/Medium/High/Ultra 四档思考模式的 Agentic RAG;支持 Word、PDF、网页等异构数据源接入,本地部署提供 Docker(推荐 4 核 CPU、16 GB 内存、50 GB 磁盘)和源码两种方式,源码构建需 Go 1.27、Clang 20 等环境。仓库地址 https://github.com/infiniflow/ragflow 。

  2. GitHub · 3D 生成新仓库17

    API Evangelist 发布 MiniMax 公开 API 独立档案仓库

    API Evangelist 在 GitHub 建立了 MiniMax 公开 API 的第三方独立档案仓库,不运营、不托管该 API。MiniMax 提供全栈多模态 API:文本生成(M2.7、M2.5、M2.1、M2、M1、Text-01)、语音合成(Speech 2.8/2.6/2.5)、语音克隆、图像生成(Image-01)、视频生成(Hailuo 2.3)和音乐生成(Music-2.6),并提供 OpenAPI 规范、Postman Collection 等公开规格文档。

  3. GitHub · 3D 生成新仓库42

    dsh-imagegen:DeepSeek Harness 的一站式 AI 生图插件

    dsh-imagegen 是 DeepSeek Harness 的生图插件,通过 `dsh plugin --profile web add @dickpy/dsh-imagegen` 安装,集成文生图、图生图、无限画布、电商套图、图片转可编辑 PPT、多模型对比与画廊管理等功能。插件支持 OpenAI 兼容 Images API / Chat Completions,并预置 xAI Grok、Google Nano Banana、Seedream、Qwen-Image 等渠道,历史与画布数据保存在本机 ~/.dsh/dsh-imagegen/。项目采用 Apache-2.0 许可证,从插件 1.8.2 起支持在面板内在线更新。

  4. GitHub · 3D 生成新仓库36

    rockymine/pgm-studio-mapgen:用 pgm-studio 生成的 Minecraft PGM 地图仓库

    rockymine/pgm-studio-mapgen 仓库收录由 pgm-studio 生成的 Minecraft PGM 世界地图,每张地图连同 region/、level.dat 和 map.xml 完整提交,可直接放入 Minecraft 服务器加载,无需重建。仓库按 OvercastCommunity/CommunityMaps 的目录结构归档,规则文件 tools/worlds.py 在两个语料库上分别正确归类 ctw 360/366、dtcm 310/315、koth 105/105 张地图;另有 23 张技术卡世界和多层雕刻教程。

  5. GitHub · 3D 生成新仓库39

    davendra/go-bananas-plugins:让编码 Agent 生成和编辑图像的 Go Bananas 插件仓库

    davenda/go-bananas-plugins 仓库提供 Go Bananas 插件,让编码 Agent 生成和编辑图像、跨场景保持角色与产品一致并制作海报,结果保存到 Go Bananas 图库。插件内置 Go Bananas MCP server(OAuth 登录)和一个指导 Agent 使用的 skill。支持 Claude Code、Claude app 和 Codex,其他 Agent(ChatGPT、Cursor、VS Code、Gemini CLI 等)可参考 gobananasai.com/connect。

  6. 80 Level · CG 与游戏美术28

    Tripo P2.0 与 Astra 如何在 Blender 和 Unity 中协同工作

    Tripo 团队介绍了其 3D 原生基础模型 P2.0 与 Astra 的配合流程:P2.0 生成支持可调 polygon 密度、part 分离、Smart UVs 和区域网格编辑的三角或四边面网格,Astra 则负责在 Blender、Unity 中完成组装、绑定、动画与交互场景搭建。文中案例包括用户用 Astra → Tripo P2.0 → Blender → Unity 流程,仅三个 prompt、90 分钟做出魔兽粉丝游戏。团队同时指出了当前在形变和复杂动画方面的局限,以及人类艺术指导仍不可替代。

  7. GitHub · 去对齐工具与仓库14

    API Evangelist 发布 gpt55-token-gateway 的第三方 API 档案仓库

    API Evangelist 在 GitHub 上维护 gpt55-token-gateway 的第三方 API 档案,内容全部来自公开网页资料,不运营、托管或转售该 API。仓库提供独立计算的 Kin Score 与 Agent Readiness 评分,并承诺一个工作日内确认、两个工作日内下架、五个工作日内更正或重评。仓库不含任何软件,任何要求下载链接的信息均非官方。

  8. GitHub · 去对齐工具与仓库63

    team-agents 开源:在 Linux 主机上并行编排多个无头 LLM 编码智能体

    GitHub 上的 team-agents 项目可在自有 Linux 机器上并行运行多个无头 LLM 编码智能体,单独或组队处理仓库任务并提交 PR。它不实现智能体循环,而是编排 Claude Code、Codex CLI、Antigravity CLI 和 OpenCode 等现有 CLI,每个任务运行在独立 git worktree 和 systemd --user 单元中,通过 Go 编写的 agentbus MCP 服务器提供共享消息总线、资源预留和检查点;智能体遇到疑问写入 Markdown 文件暂停等待人工回答,并按 worker/normal/investigator 三层模型分配任务以分散各订阅和 API 配额。

    推荐理由:原文详细说明了多智能体编排的隔离、通信、人工介入和配额均衡机制,读者可以据此评估是否适合在自有 Linux 主机上复用。

  9. GitHub · 去对齐工具与仓库42

    llmdil v0.1.40 发布:Windows 本地大模型部署与推理层桌面应用

    GitHub 上的 llmdil 是一款基于 Tauri 2 + Rust 的 Windows 桌面应用,用于在单台工作站上安装、配置、监督和监控本地 LLM 服务栈,当前版本 v0.1.40(2026 年 10 月 18 日)。它提供 12 步自动执行的首启设置向导、llama-server 子进程监督、LiteLLM 网关(:4000)统一路由与 OpenRouter 云端故障转移、GPU 遥测监控及带 SHA-256 校验的模型库管理。要求 Windows 11 24H2+、NVIDIA R550+ 驱动、120 GB 空闲磁盘,采用 Apache-2.0 许可证。

  10. GitHub · 去对齐工具与仓库18

    哈萨克斯坦国立信息技术大学 AI 测试用例生成毕业设计项目:yssnov/ai-testcase-generation

    Astana IT University 团队启动毕业设计项目,用本地部署开源模型从 SRS、用户故事、PRD 等需求文档自动生成可追溯、可评审的测试用例。系统将对比 Qwen3、Gemma、Mistral Small 等模型与提示词策略,支持需求提取、ISO/IEC/IEEE 29148 质量检查、人工评审后导出 CSV/XLSX/Gherkin/JSON。目前完成分析和设计,代码尚未启动,计划使用 Ollama、vLLM、Next.js、FastAPI 等技术栈。

  11. GitHub · 去对齐工具与仓库39

    FreeLLMAPI 仓库:用 LiteLLM 兼容桥在 Claude Code 中运行本地与远程模型

    GitHub 仓库 constapo/FreeLLMAPI 提供通过 LiteLLM 兼容桥运行 Claude Code 的完整指南:LiteLLM 将 Claude Code 的 Anthropic 风格请求翻译为 FreeLLMAPI 的 OpenAI 兼容格式,再转发至本地与远程模型池。仓库含架构说明、Windows 启动脚本、测试提示、故障排查与验证指南,需 Python 3.8+、Node.js 16+ 和 Git。

  12. GitHub · 去对齐工具与仓库28

    study-assistant:把笔记一键转成闪卡与测验的开源工具

    GitHub 上的开源项目 study-assistant 可将 20-8000 字符的笔记通过 LLM 生成闪卡和测验,后端用 Express 调用 OpenAI 的 gpt-4o-mini,采用 Structured Outputs 加 Zod 严格校验输出,API 密钥全程保留在服务端。用户可翻转闪卡、标记掌握状态、对答错的题目重测。代码大部分由 Antigravity agent 编写,Claude 用于规划与审查,需自行配置 OpenAI API key 和 Node.js 18+ 环境。

  13. GitHub · 去对齐工具与仓库52

    odiumuniverse 接手 claudecode.nvim,为 Neovim 带来 Cursor 式逐 hunk 审查

    odiumuniverse 发布 claudecode.nvim 更新版,因原版 coder/claudecode.nvim 自 2026 年 6 月起无新提交,该仓库延续上游的 IDE 连接并新增逐 hunk 审查、行内批注、zen 模式和 cswap 账户切换。插件通过 Anthropic VS Code 扩展同款 WebSocket MCP 协议连接 Claude Code CLI,以未修改的 claude 二进制运行,需 Neovim 0.11+,仓库地址 https://github.com/odiumuniverse/claudecode.nvim。

  14. GitHub · 去对齐工具与仓库50

    pocket-homelab-ai 开源:在自建服务器上通过浏览器和手机运行 Claude Code 与 Codex

    GitHub 项目 abjelosevic88/pocket-homelab-ai 发布,提供自托管 Web 应用/PWA,在自有服务器上通过任意浏览器或手机驱动已安装并登录的 Claude Code 与 Codex CLI。单个 Go 二进制加一个 SQLite 文件,复用现有订阅、CLAUDE.md/AGENTS.md、MCP 服务器和 skills;支持每线程切换模型与权限模式、多账号切换、git worktree 并行改动、SSH 远程主机执行、粘贴截图、定时保存的检查任务(以 OK/ATTENTION 结尾并按需推送通知)、完整文本搜索与用量统计。需以驱动 CLI 的用户身份在宿主机运行(不可容器化),默认监听 127.0.0.1:8195,MIT 许可。

  15. GitHub · 去对齐工具与仓库65

    llm-systems-manager 开源发布:自托管面板监控与调优本地 LLM

    llmsyscore 在 GitHub 开源了 llm-systems-manager,一个自托管面板,用于监控、控制、基准测试和调优运行本地 LLM 的机器,采用 AGPLv3 许可证。支持 llama.cpp、vLLM、LM Studio 和 stable-diffusion.cpp,兼容 NVIDIA、AMD(ROCm 与 Vulkan)和 Apple Silicon GPU,支持 Linux 与 macOS,不支持 Windows。

    推荐理由:原文完整列出了安装方式和监控、基准、自动调参等功能清单,可用于评估这套自托管面板是否覆盖本地推理运维需求。

  16. GitHub · 去对齐工具与仓库15

    API Evangelist 发布 Abacus.ai 的第三方 API 档案仓库

    API Evangelist 在 GitHub 上维护 Abacus.ai 的第三方 API 档案,内容全部来自公开可访问的网站、文档与 OpenAPI 等公开规范,不运营或支持该 API。仓库提供独立计算的 Kin Score 与 Agent Readiness 评分,并声明评分非认证或审计;纠错、重评和下架免费,且仓库不含任何软件,警惕声称需下载文件的钓鱼链接。

  17. GitHub · 去对齐工具与仓库62

    GavinSouth 发布 ClaudeVibeCodeAppTemplate:面向 Claude Code 的应用脚手架模板

    GavinSouth 在 GitHub 发布 ClaudeVibeCodeAppTemplate,一个用 Claude Code 启动新应用的项目脚手架,包含 Python 3.13 后端、React + TypeScript + Vite 的 Web 端和 SwiftUI iOS 占位,并配置 ruff、mypy、pytest、pre-commit 与 GitHub Actions CI。模板通过 ROADMAP、HISTORY、ARCHITECTURE 等文档在会话间携带上下文,内置 /new-app 和 /finish-feature 技能;使用时在仓库根目录打开 Claude Code 即自动运行 /new-app,回答项目定位等问题后自动改名、清理未用客户端并重写文档。

    推荐理由:这个模板用 ROADMAP、HISTORY 等文档在 Claude Code 会话之间携带项目上下文,还提供 /new-app 技能完成脚手架初始化。

  18. GitHub · 灵魂体仓库68

    nodal-agents 开源自托管多智能体平台

    Kwintspiracy 发布 nodal-agents,一个本地自托管的多智能体编排平台,两条命令安装,内嵌 Postgres,无需云依赖,每个智能体可配独立模型、技能、记忆和工具,支持 Telegram、Discord、Slack、WhatsApp 和仪表盘对话。所有凭据以 AES-256-GCM 加密存储,自带 token 预算、防失控守卫、智能体间委派、自学习技能和 ROOT 自扩展机制,支持 Anthropic、OpenAI、DeepSeek、MiniMax、Kimi 及 LM Studio、Ollama 本地模型。需 Node 24+ 与 npm 11.6+,目前为 1.0 前版本。

    推荐理由:本地自托管的多智能体编排平台,把人格、记忆、技能和模型选择全部落进 Postgres,想自建 Agent 团队的人可以参考它的架构取舍。

  19. GitHub · 灵魂体仓库34

    oldfunk stock-dashboard v2.0.0 开源发布:每日全市场量化筛选 + 数据展示面板

    GitHub 开源项目 oldfunk/stock-dashboard 发布 v2.0.0,每个交易日 15:30 后自动对全市场约 5500 只 A 股执行采集、7 条门规筛选与评分,候选池 ≤20 只。AI 分析使用用户自带 Key(在 /llm 页配置),经面板队列触发;2026-10-21 起新增信号前向收益验证(/outcomes)、真实年报股息(fail-closed)和 AI 新闻事件上下文。项目支持 Python ≥3.10,提供 systemd 生产部署与外部程序读写 API。

  20. GitHub · 灵魂体仓库64

    Grillcheese-AI 开源 CubbyLLM 架构并发布自研 450M 模型 base450m

    Grillcheese-AI 开源 CubbyLLM,一个八层架构项目,语言模型被刻意做成最小、可替换的一层,每句回答都是 VM 针对事实库执行的程序或带理由的拒绝,用构造而非判断保证诚实。项目同步发布自研 450M 混合模型 base450m(MinGRU + 窗口注意力,bbpe128k 分词器,约 4B token 预训练,经 Vulkan 运行于 grilly2),并给出算术步进(单次通过 5.5% 提升)、qFHRR n-gram 记忆、800 题验证管线 0.718 覆盖且精度 1.000、SimpleQA 与百科 OCR 等大量实测数字,每个数字对应 validation/logs 中的日志。

    推荐理由:原文给出可复现的验证实验与指标,把语言模型降为可替换一层、由 VM 仲裁每个回答的架构做法有可迁移的参考价值。

  21. GitHub · 灵魂体仓库67

    Off Grid AI 开源 OGAM 离线本地 AI 助手套件,Pro 版支持自定义人格与语音

    Off Grid AI 在 GitHub 开源 OGAM,一套完全在手机和 Mac 本地运行的离线 AI 套件,涵盖文本生成、图像生成、视觉识别、语音转写、工具调用和文档分析。可选 Pro 订阅($119 买断或 $7.99/月)增加 Kokoro 端侧语音回话、可自定义 system prompt 与持久记忆的人格、需人工批准的操作草拟,以及手机与 Mac 之间无中继的 Personal Mesh 同步。

    推荐理由:自述为完全离线本地的 AI 助手套件,人格系统给出了系统提示词、语音与持久记忆的具体构造方式,可作本地部署参考。

  22. GitHub · 灵魂体仓库41

    mercureal-assistant:完全离线的 Android 隐私语音助手发布 v0.2.1

    GitHub 开源项目 mercureal-assistant 发布 v0.2.1,是一款完全在 Android 手机本地运行的离线语音助手,用 whisper.cpp 做语音识别、量化 llama.cpp 模型(默认 Qwen2.5-0.5B-Instruct Q4_K_M,可选 Llama 3.2 1B)生成回复、sherpa-onnx 离线 TTS 朗读,不经云端。应用仅用网络从 Hugging Face 固定 commit 下载模型并校验 sha256,语音、提示词与回复不离开手机,无分析或崩溃上报。项目仍未经真机编译运行验证,语音模型提供 tiny.en、base.en、small.en,模型约 78 MB 至 808 MB 不等,MIT 许可。

  23. GitHub · 灵魂体仓库48

    meta-mcp-server:把 Meta 全平台接入 AI 助手的 MCP 服务器

    开发者 oliverames 在 GitHub 发布 meta-mcp-server v2.0.2,通过单一 MCP 接口整合 Meta Graph API v21.0,提供 199 个工具、覆盖 7 个平台,包括 Facebook Pages、Instagram、Threads、Ads Manager、Commerce 和 Conversions API。AI 助手可借此发布内容、回复评论、投放广告、管理商品目录和查看数据洞察,支持 MCPB 本地安装包,供 Claude Desktop 等 MCP 客户端使用。

  24. GitHub · 灵魂体仓库28

    sprout-mcp-server:用 MCP 连接 Sprout Social 的分析、消息、聆听与发布

    sprout-mcp-server 是一个 Model Context Protocol 服务器,让 Claude、GPT 等 MCP 客户端直接调用 Sprout Social 的分析、收件箱消息、社交聆听、发布和客服案例功能。它提供 28 个工具、覆盖 6 个 API 域和 11 个社交网络,支持媒体上传、草稿排期与案例分诊等流程。需 Node.js 20.19+ 和开通 API 的 Sprout Social 账号,可通过 npm、npx 或源码安装,支持 API token、OAuth 2.0 机器认证或浏览器登录三种方式。

  25. GitHub · 灵魂体仓库62

    usage-engineer 开源:测量并削减编码智能体浪费的 token

    作者开源了本地 CLI 工具 ue,用于测量并减少 Codex CLI、Claude Code 和 OpenCode 等编码智能体浪费的 token,如重复粘贴长日志、重试相同失败命令和过时项目地图。工具为零依赖单 Python 文件、无网络调用,也可作为 Agent Skill 安装;内置 ue bench 冻结基准用例和 ue compare 配对比较,并附 2026-10-21 的一次实测,显示上下文包在 3 个用例上多耗约 30% token(+273,353),作者注明每格仅 1 个样本属噪声级,仅演示方法而非结论。

    推荐理由:作者用自带的双组基准实测了上下文包方案,结果显示其反而多耗 30% token,这种不粉饰的测量方法本身有参考价值。

  26. GitHub · 灵魂体仓库48

    pi-mobile:在 Android 手机上运行 pi AI Agent 的非官方社区项目

    非官方社区项目 pi-mobile 让 AI Agent 直接跑在 Android 手机上,需 Android 7.0 以上 arm64 设备,采用 MIT 授权。它支持多个带记忆、排程和持续对话的 Bot,通过 pi-ai 使用用户自己的 API key 接入 OpenAI、Anthropic、Gemini、OpenRouter、xAI、DeepSeek 或 Ollama 等兼容端点,数据留在手机上。Bot 可调用天气、行事历、语音等手机工具,经 MCP 一键连接 Notion、Linear、Todoist、Stripe、Sentry 等服务,还能通过 Tailscale 远程操作 Mac 或 Linux 电脑。

  27. GitHub · 灵魂体仓库37

    AgentSpore:让 AI 智能体自主开发并上线真实软件的开源平台

    AgentSpore 是一个开源平台,AI 智能体可在其中发现问题、编写代码、互相评审并部署产品,项目盈利时 95-99% 收入分给贡献者,其中 50% 按贡献点、50% 按 $ASPORE 代币(基于 Solana)分配,平台抽取 1-5%。平台提供 agentspore-sdk(GitHub 预发布版 0.2.0rc2)及注册于官方 registry 的 MCP server(io.github.Exzentttt/agentspore),当前候选版本要求智能体在自有环境中运行,并支持企业自托管版本。

  28. GitHub · 灵魂体仓库57

    llm-contract:TypeScript 开源的 LLM 行为契约测试库与 CLI 发布

    作者发布了开源 TypeScript 库和 CLI 工具 llm-contract,用于确定性优先的 LLM 评测、Agent 测试、提示词回归、RAG 事实核查、结构化输出校验和 CI 门槛控制。工具按归一化、语法、结构、语义、事实保持、行为约束六层校验流水线输出可检查报告,支持 Zod / Valibot / JSON Schema 子集,可对比基线检测回归与 flaky 用例,设置最低通过率等 CI 政策,不依赖特定模型厂商、无隐藏网络调用,MIT 协议发布于 GitHub。

    推荐理由:作者把确定性校验、RAG 事实核查和 CI 门槛组合成完整工作流,读者可以直接搬走这套 LLM 回归测试做法。

  29. GitHub · 灵魂体仓库41

    plain-language-default:为 AI 智能体设计的可复用简明语言写作规范 npm 包

    GitHub 开源项目 plain-language-default 是一个面向 AI 智能体的可复用写作规范 npm 包,遵循美国联邦简明语言指南的原则。它提供 SKILL.md 技能文件、支持 AGENTS.md、Claude Code 与 Cursor 的项目安装器、可粘贴的 ChatGPT Custom Instructions,以及含规则、提示词和文本检查器的本地 MCP 服务器。该包无运行时依赖,需 Node.js 20 或更高版本,文本不经外部服务处理,采用 CC0 1.0 许可证。

  30. GitHub · 灵魂体仓库41

    LegalRAG Lab:中文法律 RAG 对照实验平台开源上线

    GitHub 开源项目 LegalRAG Lab 提供中文法律 RAG 对照实验平台,支持多模型、多检索方案和多 Prompt 的可观测 A/B 测试,量化质量、引用、延迟与成本。链路采用 BM25 Top 10、Qwen3.7 法条 Dense Top 10 与案例 Dense Top 8 并行召回,经 RRF 融合 Top 20、LLM 重排 Top 5,并对全国人大国家法律法规数据库做精确法源核验。默认模型为 qwen3.8-flash、qwen3.7-plus 等,代码采用 MIT License。

  31. GitHub · 灵魂体仓库24

    FinSpect:基于 SEC 文件的实验性财务研究助手开源项目

    GitHub 开源项目 FinSpect 是一个实验性财务研究助手,结合 LLM 查询规划、SEC 文件检索、证据验证和确定性计算,并提供 Streamlit 界面。项目目前处于 v0.1 积极开发阶段,端到端仅支持基于 SEC 数据的年度营收增长分析,运行需 Python 3.13 和本地 Ollama 模型。设计原则是 LLM 负责理解、验证后的数据和确定性代码负责计算,以减少数值幻觉,结果仍需对照原始 SEC 文件核实。

  32. GitHub · 灵魂体仓库34

    MalwareScope 恶意软件分析平台:Random Forest 分类 + LLM 解释 + 隔离沙箱

    突尼斯 El Manar 大学 ISI 的硕士毕业项目 MalwareScope 发布,集成 Random Forest 分类器、LLM 判决解释器和隔离 Windows 沙箱。模型在 760 个 PE 文件、7 类数据集上达到 89.5% 准确率、0.870 weighted F1;同批 50 个文件上 RF 为 82.0%,LLM 零样本仅 36.0%。沙箱支持 Sysmon、PCAP 取证、MITRE ATT&CK 标签和 HMAC 签名证据清单,并可对接 Splunk、STIX/TAXII、MISP、Cortex XDR 等 SOC 工具。

  33. GitHub · 灵魂体仓库44

    Narek-D8v 开源 Windows 语音助手 Nemesis-desktop

    Narek-D8v 在 GitHub 以 GNU GPLv3 许可开源了面向 Windows 的 Python 语音助手 Nemesis-desktop,带 PySide6 图形界面和可调用工具的 LLM 智能体,通过 LiteLLM 支持 Gemini、OpenAI、Anthropic、OpenRouter 与 Ollama,并在多家供应商间自动 fallback。助手具备屏幕“查看”与控制能力,支持多种唤醒词、语音识别与合成的离线方案,提供文件、命令行、网页搜索等工具调用。其视觉能力可自动在多模态模型(如 gemini-2.0-flash、gpt-4o)与本地 OpenCV + Windows OCR 流水线间切换。

  34. GitHub · 灵魂体仓库53

    The House 开源 AI 社交博弈平台 influence-game 仓库

    作者开源了 The House 背后的实现仓库 influence-game,这是一个让自主 LLM 智能体在多人对局中谈判、结盟、投票的 AI 社交博弈平台,线上产品为 thehouse.game。引擎以 PostgreSQL 中的规范事件为事实源并派生回放与赛后分析,包含 Influence 与 Werewolf 两种游戏(6-8 席、1-2 狼、Werewolf 规则 v9,每回合 320 UTF-8 字节发言限制);私有推理与操作者痕迹与玩家可见面隔离,MCP 按 agents:read、agents:write、games:read、producer 划分 OAuth 权限,默认模型为 openai:gpt-6-luna 低推理,付费评测预算上限 $15。

10月23日周五
  1. Reddit · r/LocalLLaMA62

    TensorSharp 在 5× A40 上运行 DeepSeek-V4.1-Flash-1017:预fill 吞吐达 llama.cpp 的 4.4–5.5 倍

    TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017(Unsloth UD-IQ2_XXS GGUF),默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍,关闭 YOCO 仍有 2.44–3.23 倍;decode 提升较小(1.08–1.20 倍)。质量上,WikiText-2 困惑度相对 llama.cpp 高约 0.46%(YOCO 关)到 1.14%(YOCO 开)。vLLM 0.32.0 在该机未能出 token,仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动,完整报告见 GitHub。

    推荐理由:作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化,可据此评估该推理引擎在 A40 上的实际收益与质量代价。

  2. GitHub · 3D 生成新仓库17

    AI-DOC-Assistant:一个从 PDF 摄取演进到 RAG 的文档智能后端项目

    开发者 swarup-infy 在 GitHub 开源 AI-DOC-Assistant,一个基于 FastAPI、PostgreSQL 和 SQLAlchemy 的后端文档智能平台,现已实现 JWT 认证、受保护 API 和用 PyMuPDF 做文本提取的 PDF 摄取管线。项目计划分阶段加入 chunking、embeddings、ChromaDB 向量检索和完整 RAG 管线,最终支持 DOCX、CSV、Excel 等多格式。