新闻、仓库与研究，按时间排列。
GitHub 开源项目 AI Finance Copilot 让马来西亚中小企业用自然语言查询财务数据，并获取带引用的 LHDN 电子发票规则解答。它结合 text-to-SQL 智能体、基于 pgvector 的 RAG 管道（348 个官方指南文本块、Gemini 1,536 维嵌入）和 PDF 发票结构化提取（10 张合成发票 100% 字段准确率），使用 Groq 上的 gpt-oss-120b 模型，并通过 PostgreSQL RLS 和只读角色实现数据隔离。项目基于 FastAPI、LangChain、Supabase 和 Streamlit 构建，已提供 Live Demo。
ThousandML 发布开源微调平台 Training Factory，用 QLoRA 对 4-bit 量化模型做微调以降低 GPU 成本。其采用的 CQ（Coded Quantization）是无校准量化，效果与主流量化相当，已提供 Qwen3.8-27B-CQ-4bit、Llama-3.1-8B-Instruct-CQ-4bit、Llama-3.3-70B-Instruct-CQ-4bit 等底座，并支持用 vLLM 加载 LoRA adapter 部署。
DeepSeek 在 PyTorch Conf 期间开源 DeepInfer，即支撑 V4.1 Flash 的生产推理栈。该框架基于 vLLM 定制，支持 NVIDIA SM100 与华为昇腾 950，并配套发布 deepseek-recipe。
推荐理由：DeepSeek 放出生产级推理栈本身罕见，单集群吞吐与推理毛利数字可作推理成本侧的参照。
/u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel，代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上，加载 35 MB 的 LoRA（如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora）原本使 PP 从约 1500 降到 300 t/s，通用 kernel 提升到 1000 t/s，fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡，且无需重新下载整个模型。
推荐理由：作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据，并开放了可复用的 kernel 代码。
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
OpenExpert 是一个 MIT 协议开源的 AI 运营仪表盘，完全在本地运行，数据存于单个 SQLite 文件，无需云端、账号或数据库服务器。它提供严格数据隔离的 Experts、可调用工具的聊天、需人工审批的 AI 操作及完整审计回溯，支持 Ollama（默认）、Google Gemini、Claude 或任意 OpenAI 兼容端点，并可集成 Google Drive、本地文件夹和 Notion。
x-cmd 安装索引新增 llm 包，可在命令行访问大语言模型。该项目以 Python 为主，共 73 个文件、35,556 行代码，采用 Apache-2.0 许可证，最新版本 0.36 于 2026-09-22 发布，GitHub 上有 12,648 stars 和 81 位贡献者。
pham-canh 发布 opencode-harness-kit，一套面向 OpenCode 的 harness 套件，通过 profile 把模型相关配置编译进 opencode.jsonc，源码中不含任何模型名，切换模型只需改数据。默认 fleet-safe profile 用 10 个 lane 分配 10 个免费模型处理不同任务，附 2026-10-21 实测的各 lane 中位延迟表；隐私分 zero-retention、retained、may-train 三级，retention.yml 人工维护。套件含 guard、prune、router、telemetry 四个插件模块，verify 命令校验安装完整性，doctor 检测免费模型下架导致的漂移。
同一新闻，精选展示《opencode-harness-kit 发布：为 OpenCode 构建模型无关的十车道编码 harness》
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
baiibayu 在 GitHub 发布开源工具 SRouter，一个本地运行的 AI 网关与智能路由器，把 Claude Code、Cursor、Windsurf、Cline 等编码工具统一接到一个 OpenAI 兼容端点（http://localhost:20268/v1），聚合约 60 家供应商和 1200+ 模型。核心机制包括订阅、付费与免密钥免费三层自动回退（上游 429/5xx 时冷却并切换下一模型）、可节省 20–40% token 的提示词压缩管线、每日两次经 Ed25519 签名同步的模型目录、AES-256-GCM 本地加密密钥库，以及原生支持 Anthropic Messages、Gemini、Ollama 和 Codex /v1/responses 协议。
推荐理由：原文给出了三层回退、token 压缩比例和本地加密等具体机制，可据此评估这个本地网关是否值得接入自己的编码工具链。
开源项目曼波棋社（Mambo Chess Club）把五子棋、围棋、中国象棋、国际象棋装进同一个浏览器界面，内置五档难度的本地战术引擎，无需注册、无需联网即可对弈。可选接入 DeepSeek、通义千问、Kimi、Ollama 等 OpenAI 兼容 API，模型着法须经本地规则引擎校验才落盘；源代码采用 MIT 许可证，素材不在覆盖范围内。
KOIYAL 在 GitHub 发布 local-transcriber，支持 Windows 和 macOS 本地转录音视频文件并生成带时间戳文本与本地 LLM 摘要，全程不联网。转录用 faster-whisper，摘要优先用 Apple Intelligence，其他环境回退到 llama-cpp-python 加载 GGUF 模型；支持 TXT、SRT、VTT、JSON 导出，采用 GNU AGPL-3.0 许可证。
Vanisherzd/BlackOps 仓库公开了一个在 DGX Spark（GB10）上完全本地运行的 IT 运维 Agent，目标部署于 Jetson AGX Thor，断网也能自主诊断修复。2026-10-20 起推理引擎从 TensorRT-LLM 改为 vLLM，跑 Nemotron-3.5-Bolt-74B-A9B；NemoClaw 路径 5 张舞台卡各跑 3 次 15/15 自主修复，repo 内 host 循环 9 案 26/27。仓库包含 NeMo Guardrails 安全 rail、审核代理、错误注入案例 28 个、离线知识库（1,644 历史案例）与详细踩坑清单，legacy 路线为 TRT-LLM + Nemotron-3-Nano 与 vLLM 0.29 + Qwen3.6-35B。
推荐理由：仓库给出完整的本地部署架构、错误注入 drill 数据和踩坑清单，读者可以照着在 DGX Spark 或 Jetson 上复现离线自修复运维智能体。
一位非程序员用前沿模型搭建基础设施，让 3 个本地智能体（2 台 Strix Halo 跑 GPT-OSS 120B Q4、1 台 RTX 5090 跑 Gemma 31B Q4）持续处理 NAS 上数十万册书籍、报告、照片与艺术图像，提取引文、趣闻和作品关联，并全天候待命回答关于藏书库的问题。整套系统成本未超 20 美元订阅的前沿 token 额度，且无广告与算法推荐。
研究者提出 Adaptive Multi-Token Prediction（AMTP），将多 token 预测的视野选择建模为在线控制问题，通过验证反馈动态选择最优推测长度，无需重训练且不改动验证器。在基于 Llama-3.1-8B-Instruct 与 Medusa heads、Meta MTP 模型、Qwen3-4B-Inst-2507-MTP 的五组组合上，经 AIME 2025 和 GSM8K 评测，AMTP 解码最高加速 4.1x，在 10 个设置中的 8 个持平或超越固定窗口，吞吐最高提升 10%。
研究者发布 Africa-Papers，这是迄今最大的多领域泛非学术预训练语料库，包含 844,807 篇全文论文、共 10.15 billion tokens，分 879 个 Parquet 分片，涵盖 DOAJ 非洲期刊、CGIAR CGSpace 农业库、arXiv 非洲作者预印本及 OpenAlex 开放获取论文四大学科来源。语料以保留章节结构、公式和表格的干净 Markdown 格式发布，配有精确 BPE token 计数和 8 域分类体系，已在 Hugging Face Hub 的 AfriSpeech 组织下开源，用于支持非洲基础模型的持续预训练与领域评测。
arXiv 论文提出通过40个日常问题（如“说出一种声音”“说出一位诗人”）的单字答案为语言模型建模指纹，在94个模型的面板上识别出确切模型的准确率为92.5%，随机仅为1.1%；系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点，其中92个与其声称的模型一致，一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4（自报身份且计费按 Gemma 4 的 token 数）；计费记录还显示第一方模型被附加了额外上下文，如 Grok 4.7 对一行问题计费1,247个输入 token，而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分，代码与数据已公开。
推荐理由：这篇论文展示了用40个单词答案就能指纹识别API背后的模型，还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文，方法成本极低可复现。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，仓库位于 github.com/vllm-project/humming。该项目定位为通用高性能量化推理内核库，以开源方式提供。
asanaei 发布 R 包 FocusGroup，让语言模型分别扮演主持人和参与者，按 moderator guide 与轮换规则运行模拟焦点小组，用于研究设计而非估计民意。内置三种发言分配规则（round_robin、probabilistic、desire_based），支持从直接描述、受访者数据、Stata/SPSS/SAS 调查文件或内置的 ANES 2024 100 名受访者画像构建参与者；run_focus_studio() 提供免代码 Shiny 界面并带离线演示模式。摘要以 JSON claims 形式返回并在代码中校验引用，fg_player() 可导出离线 HTML 逐步回放会话，会话可存为 JSONL 后按反事实注入分臂续跑。项目为实验性，MIT 许可，依赖 LLMR 调用模型 API。
tailcallhq 开源的 Forge 是一个集成到终端的 AI 编程智能体，通过 curl -fsSL | sh 即可安装，支持 OpenAI、Anthropic 等多家 LLM 提供商。它提供交互式 TUI、一次性 CLI（-p）和 ZSH 插件（: 前缀）三种模式，可完成代码讲解、调试、代码审查、重构、Git 操作等任务，并具备受限 shell 沙箱与零配置特性。
zcb617 在 GitHub 开源了 llm-router，一个本地 LLM 调用代理，透明转发并记录所有 LLM API 调用。支持多上游负载均衡、OpenAI Responses API 与 Chat Completions API 间协议转换、Token 统计（含缓存命中与输出速度）、MITM 解密 HTTPS，并提供带 RBAC 权限的 Web 控制台管理用量、密钥、上游和用户。项目基于 Python 3.14+ 或 Docker 部署，数据存 SQLite 或 PostgreSQL，采用 MIT 许可证。
domain-rag-lab 是一个金融领域 RAG（检索增强生成）学习仓库，基于注册的金融文档解释股票、ETF、债券、衍生品的结构与风险，并交互式探讨投资组合理论与资产配置模型。项目采用 Qdrant 向量检索与 PostgreSQL 关键词检索经 RRF 融合的混合搜索，结合 pgvector 长期记忆与 LLM 工具调用编排，并集成 QuantConnect LEAN 回测与 Streamlit UI，可从本地 Docker 迁移至 AWS EC2 部署。
Olivares AI 发布并完全开源，可统一查看和管控 Claude Code、Codex、Grok、Cursor 等 Agent 及 MCP 服务器的运行、权限与成本。它提供 Cockpit、Session、Access map 等界面，在 Claude Code 内、模型代理、每次 MCP 工具调用和 Agent 之间设置四个 deny-closed 检查点，风险操作需第二人批准，并用签名防篡改日志记录所有决策。产品含 32 个模块和 136 个集成，单个程序可部署在自己的服务器上，完整版免费开源，支持 Docker、Debian、RPM、Homebrew 等多种安装方式。
Artem Okhten 开源了 GulfOfTrump，一款架空历史大战略游戏：玩家选 1914 萨拉热窝到 2022 俄乌开战共 8 个起点和任意国家，用自然语言下达政令，大语言模型扮演世界其余部分，通过官方 Sign in with ChatGPT 跑在玩家自己的 ChatGPT 套餐上，免费无内购。核心设计是模型只负责叙事并按回合返回 JSON 结果，引擎保存约 2700 个省的归属、战争、联盟、经济与军队等结构化状态，用 sanitizeOutcome 剔除无效改动、把数值波动钳制在 ±15，失败答案有一次带解析错误的修复机会。游戏含各国内政议会、以资源为基础的贸易、有名字和忠诚度的部长内阁、按城镇划分的前线与占领机制，代码 MIT 许可，地图数据 GPL-3.0。
推荐理由：这个开源战棋游戏把 LLM 的叙事和引擎的账本分开，模型每回合只出 JSON 结果并被钳制校验，思路可以直接借鉴到其他 Agent 项目。
研究者提出 CrystalAR，一个统一的自回归框架，在单一生成序列中同时建模 Wyckoff 对称性模板与完整晶体结构，把连续坐标生成重构为对称性条件下离散空间定位决策的层级化过程。该方法支持对晶体模板和几何实现的约束感知搜索，在保持对称模板生成能力的同时，取得了有竞争力的 de novo 生成性能与无模板晶体结构预测（CSP）精度。
arXiv 论文提出 LatBridge，通过共享 Bridge 与共享潜在通信协议下的独立接口，让多智能体系统在替换 agent 模型后复用未变接口、选择匹配的低秩接口并仅训练缺失部分，所有模型保持冻结。在八个小型模型配置上，basic 模式平均准确率达 MATH 14.8%、ALFWorld 下一步动作预测 27.3%。accelerated 模式无需自回归生成即可构建目标输入。
ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架，从程序推理与约束执行、知识基础与真实性、社会认知与情感理解、人格一致性与风格稳定性四个维度考察压缩后模型的能力存续。对来自六个开源权重 LLM 的 35 个以上压缩 checkpoint（涵盖量化和剪枝）的分析显示，压缩会重新分布能力：粗粒度、局部、表层信号往往保留，而细粒度、长尾、依赖上下文的能力变得脆弱；量化在能力保留上始终优于剪枝。部署者可据此按应用所需能力画像选择压缩方法。
一位 Reddit r/LocalLLaMA 用户发帖称美国 AI 已经过时，呼吁改用中国 AI。他称 ZAI、DeepSeek 等中国模型不审查、不加水印、几乎不收费（ZAI 每天有 12 小时免费），并抱怨 Claude 连编译一个跨两台电脑移动鼠标的 C 程序都会触发 cyber 限制。他认为美国新模型数天到数周内就会被蒸馏，中国 AI 在性价比上已全面领先。
Zero-State-LLC 的 BlackDog 仓库（前称 FaustCoder，2026-10-17 更名）是一个编译器验证的 Faust DSP 代码生成模型项目，基于 NVIDIA DGX Spark 开发，目前处于 specification-first 阶段。V0.1 里程碑已完成内容寻址工件存储（T02）、沙盒 Faust 编译器 harness（T03，faustwasm 0.19.0）、数据集权利清单（T05）及 T06 归一化去重快照等基础设施，尚无训练好的模型，也未提出任何模型质量声明。仓库采用拆分许可：specs/ 和 docs/ 为 Apache-2.0，其余代码、模型权重、数据集为 Zero State Proprietary License 1.0。
Fast-swap 发布 v0.3.0（Berth），新功能将引擎驻留在系统内存而非卸载，切回已驻留引擎可跳过从磁盘重新加载。作者招募测试者：需 64/96/128 GB 内存配 24 GB 显卡测试 vLLM 或 ComfyUI 引擎驻留耗时，或多 GPU 用户提供真实拓扑以支持下版多 GPU 租约功能，另征集 Windows NVIDIA 用户运行 contrib/windows/check.ps1 校验 VRAM，以及 Linux AMD 用户。
Reddit r/LocalLLaMA 用户发布 EAGLE-4 推理加速数据：在 Qwen3.8-27B 上相对原始推理提速 3.59×，高于 DFlash 2 的 2.80×、DSpark 的 2.57× 和 MTP 的 2.22×。目前仅支持 Qwen3.8-27B，作者表示将关注其进入 llama.cpp/vLLM 的进展。
开发者发布开源项目 OvertChat，定位为自托管版 ChatGPT，提供打磨好的本地模型聊天界面。内置本地 TTS/STT 与 voice2voice 语音、捆绑 SearXNG 的网页搜索，支持 Codex、Claude Code、OpenCode、Pi、Hermes 等编码智能体；一条命令安装，覆盖 web、macOS/Windows/Linux、Android/iOS，并提供无法解密流量的免费中继 OvertChat Cloud。作者称已开发近 6 个月，项目获 123 stars，代码为 vibe coded，链接 https://github.com/yoloyash/overtchat 与 overtchat.com。
推荐理由：作者把自托管聊天前端定位成直接对标 Open WebUI 的成品而非工作区，并给出了安装命令和平台覆盖清单。
一位 Reddit 用户询问是否有人的账号因通过 OpenRouter 使用 Argon 4 而被封禁。由于 OpenRouter 现在需向 Google 报告哪些账号在使用 Argon，该用户虽只涉及 NSFW 和创伤疗愈类角色扮演内容，仍担心被封，想确认自己是否过于多虑。
ComfyUI 发布 v0.42.3 版本，该 tag 于 20 Oct 22:44 标记，commit 为 edb3db0。发布页附 2 个资产。正文未给出具体更新内容。
作者 /u/andy2na 宣布 Windows 万能搜索工具 VectorDash 改用 Rust 重写，新增可搜索剪贴板管理、基于 EmbeddingGemma 2 的本地反向图搜、网页搜索和 AI 聊天（含电脑与浏览器控制，Beta）。各功能均可选，未索引且未加载模型时内存占用低于 100MB，索引保留在本机，代码在 https://github.com/ampersandru/VectorDash。
推荐理由：作者本人发布工具更新，说明了各功能的可选开关和空闲内存占用，本地部署用户可以按需评估是否适用。
作者发布 open_rknpu2_lm_infer，一个不依赖 Rockchip 专有用户态推理库的 RK3588 NPU 本地大模型推理引擎，上层用 Rust、NPU 算子用 C++ 编写。支持 Qwen3.5-4B 图像输入与可选 MTP 投机解码，提供终端聊天和 OpenAI 兼容 API（含流式、工具调用、前缀缓存），并验证了 Qwen3-4B、Granite-4.2-3B、MiniCPM5-2B 等检查点。与 RKLLM 1.3.1 对比，512-token 提示 prefill 147.83 tok/s 对 58.35 tok/s，解码 10.61 tok/s 对 5.54 tok/s，约 2 倍速度。
推荐理由：作者自建 RK3588 NPU 推理引擎并给出与 RKLLM 1.3.1 的逐项速度对比，数据可直接用于评估本地部署收益。
bborbe 在 GitHub 开源 dark-factory，一个自主编码流水线工具，用户放入提示词文件即可自动执行并生成 commit，从规格到提交之间无需人工干预。工具用 Go 编写，在 claude-yolo Docker 容器内执行提示词，默认模型为 claude-sonnet-4-6，支持 spec 到 prompt 生成、PR 创建、CHANGELOG 打 tag 等配置，并附带 Claude Code 插件用于编写和审计 spec 与 prompt。设计原则包括 YOLO Agent 无 git 权限、顺序执行提示词、用目录 frontmatter 表示状态、每个提示词使用全新上下文、失败即停止。
DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐实验权重 trial117，将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint，无需运行时 adapter。在两台 DGX Spark 的 TP=2 对照测试中，烘焙版开发集拒绝 0/100、保留集 3/100，与 adapter 的 KL 差异约 0.037 nats；原定的零拒绝目标和 0.20 KL 上限未达成。需 B12X vLLM 运行时，TP=1 冒烟测试通过 5 项基础检查，长上下文、多模态与工具调用能力未经验证。
同一新闻，精选展示《DevelopingDad 发布 Qwen3.8-Flash-Next-FP4-Local-Abliterated 去对齐权重》
Kokon 0.10 发布，新增 Prompt+ 与自定义 LoRA（beta）两项功能。Prompt+ 用 Qwen-Image 2.1 已加载的 Qwen3-VL 8B 文本编码器把简短想法改写成详细提示词，无需额外下载模型，在 RTX 5070 Ti 上每张图约增加 2 秒、M2 Pro 约 13 秒，支持 8 GB 显卡；LoRA 最多同时加载 3 个，可设强度和触发词，暂只测过 Windows + NVIDIA。底层改为自带 stable-diffusion.cpp 构建，图像侧与上游逐位一致，文本生成约 127 tokens/s。软件免费开源（AGPL），权重为 Qwen Research License 非商业许可。
推荐理由：作者给出 Prompt+ 在 5070 Ti 和 M2 Pro 上的耗时、8 GB 显存可用性等实测数据，可据此评估是否值得升级。
作者发布自研纯 C 推理引擎 Pantheon（基于 Foundry 库），CUDA 后端面向 Kepler 架构，在 Tesla K80 上实测 Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3_K_M）解码约 21 tok/s，prompt 读取 110-120 tok/s。权重驻留显存使 8 GB 主机即可运行，内置 prefix caching，opencode 二轮 14k token 系统提示从 170 秒降到 9 秒；短板是 prefill，30k token 代码库每次请求需数分钟。提供安装脚本与 OpenAI 兼容 API，代码在 git.teamide.dev，模型权重已上传 Hugging Face。
推荐理由：作者给出实测吞吐、prompt 长度衰减和 prefill 短板等具体数据，可据此评估老卡跑 MoE 的真实可用性。