新闻、仓库与研究，按时间排列。
burningfeet 发布基于 HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型，采用 Genesis 后训练数据再生与校准算法，通过基于 Marchenko–Pastur 分布的自定义 SVD 修复张量噪声，保留 99% 信号与学习梯度，无需重新训练。该 27B 稠密模型原生支持 262,144 token 上下文（可扩展至 1,000,000），支持文本、图像和视频理解，推荐 NVFP4 量化，兼容 llama.cpp、LM Studio、koboldcpp 等 GGUF 运行时。
huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署，采用近 2-bit E8P 编码与旋转处理，模型目录约 51.2 GB，只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP，上下文容量 262,144 tokens；实测 8,192 输入 prefill 达 809 tokens/s，Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0，Orinfer 代码为 LGPL-3.0-or-later。
Google 推出 TorchTitan TPU 分叉，配合 TorchTPU 原生后端，可在 Cloud TPU 上训练 PyTorch 模型。该分叉提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook，代码已在 GitHub 开源。
Atlas Systems 开源了 ollama-rag-kit，一个容器化的 RAG 问答管道，生成与对话记忆保留在本地，文档检索则委托给全站索引 atlas-corpus。检索结果通过本地 OpenAI 兼容端点生成带来源引用的答案，支持 /ask/stream 的 SSE 流式接口。项目基于 Docker Compose 部署，使用 Ollama 的 nomic-embed-text 做嵌入，首次启动后在 8000 端口提供服务；旧的本地 docs/ 摄取路径仅保留用于开发实验，生产检索已不再使用。
FastDub 是一个 Python 包和命令行工具，可基于 .srt/.vtt 字幕为 .mp4/.mkv 视频自动配音，并支持音频 ducking、动态变声、字幕翻译和 YouTube 集成。它可通过 pip install FastDub 安装，翻译使用 Google Translate 等服务，另支持 Windows SAPI 和 Linux eSpeak/RHVoice 语音，并集成 Tortoise-TTS 实现高质量语音克隆（推荐 CUDA）。用户还能用 CLI 下载 YouTube 视频/播放列表/频道并上传带翻译标题和描述的配音视频。
/u/OhGeeLIVE 发布 Geezuz kernel，将 L-Forster 的单卡 megakernel 分叉为双卡版本，在两块功耗限制 280W 的 RTX 3090 上以 Q4_K_M 跑 Qwen3.8-27B 达 190 tok/s，8 并发时总吞吐 622 tok/s。整个前向传播运行在单个持久 CUDA kernel 中，双卡经 PCIe 直接交换部分结果，单周期解码最多 8 个请求，并用模型自身 MTP head 做投机解码；与 llama.cpp 相比平均 164 tok/s、代码场景 214 tok/s，KL 散度显示输出质量相当。
推荐理由：作者给出与 llama.cpp 和 vLLM 同条件对比的完整吞吐数据，并说明实现原理与编译成本，便于读者评估是否适用。
开源项目 chatbot-rag 基于 documents/ 目录中的 PDF、TXT、MD 及无扩展名文本文件实现 RAG 问答，使用 sentence-transformers 嵌入做语义检索，回答时标注文件名与 PDF 页码等来源。它支持 Ollama（本地）、Anthropic Claude 与 OpenAI 三种可互换的 LLM provider，默认模型为 llama3.1:8b，UI 基于 Gradio，并附 Linux 部署指南（nohup、tmux、systemd 及 Docker Compose）。
一个基于 Inspect (inspect-ai) 的个人基准项目，测试小型本地 LLM 将 MATLAB 代码翻译为 Python 的能力，在作者自己机器上运行，模型由 llama.cpp 的 llama-server 提供。主模型为 OLMo 3 7B Instruct，对比模型为 OLMo 3 7B Think（均为 Q8_0 GGUF），答案键由 GNU Octave 生成，评测指标包括通过率、失败模式、校准度（Brier 分数）和歧义处理。五个试点任务、评测框架和 Inspect 集成已构建并测试完成，尚未在模型上正式运行。
web-llm-adapters 是一组社区适配器，将 WebLLM（通过 WebGPU 在浏览器本地运行 AI 模型）接入 Agent 框架。其中 langchain-web-llm 支持 LangChain 和 Deep Agents 但尚未发布，strands-web-llm 支持 Strands SDK 和 Harness，版本 0.1.0。首次加载会拉取 WebLLM 运行时和模型文件并由浏览器缓存，模型支持取决于 WebLLM 的 model_id 和量化方式，项目采用 MIT 许可。
eedeb 发布 FreeClaw，一个跑在自己机器上的低成本工具调用型 AI Agent，提供 Linux、macOS、Windows 一行安装脚本和带密码的深色 Web UI。它通过本地意图分类决定每条消息发送的历史窗口、温度和工具集，尽可能把流量路由到小而便宜的模型，并支持持久记忆、网页搜索抓取、bash 命令审批门、MCP 服务器、定时任务、多提供商回退、提示词缓存和 OpenAI 兼容 API，许可为 MIT。
推荐理由：README 详细说明了意图分类路由、两级历史窗口、提示词缓存等省钱手段，是自托管低成本 Agent 的一套可参考工程做法。
Ava-AgentOne 发布 ollama-intel，一个预配置 Docker 容器，通过 IPEX-LLM 的 SYCL 后端把全部模型层卸载到 Intel 核显（Meteor Lake、Arrow Lake、Arc）上运行 Ollama，无需独立显卡，兼容 Open WebUI 等 Ollama 客户端，主打 Unraid 与迷你主机用户。在 Core Ultra 7 155H 配 64GB 内存上实测，4B 模型约 15+ tok/s，7-8B 约 8-12 tok/s，14B+ 约 4-6 tok/s；镜像每周经 GitHub Actions 重建，NPU 推理暂不支持。
imjiaoyuan 在 GitHub 发布 yak，一个用 Rust 编写的插件式终端 LLM harness，单二进制文件仅约 3 个依赖（ureq、serde_json、unicode-width），无异步运行时，支持 Linux、macOS 和 Windows。bare yak 打开交互会话，yak "任务" 单次执行带工具的任务，会话以线程文件存储可随时恢复；内置 43 个 provider 目录（Anthropic、OpenAI、DeepSeek、Ollama、llama.cpp、vLLM 等），支持附件粘贴、记忆工具写入 ~/.yak/YAK.md、git 仓库形式的包安装，以及 --json 和 --rpc 控制接口。
开发者 Arnaud Stadler 开源了自托管的 AI 骑行训练平台 DomestiqueAI，整合 Garmin Connect 与 Google Health 数据，基于 Ollama 运行智能体教练。系统规定 LLM 不得自行计算任何量化数字，只能解释 21 个类型化工具返回的结果，并用 promptfoo 构建确定性 CI 评测门禁检查数字来源、计划守卫和提示词变更。项目包含过训检测、每日检查与每周重排的自适应计划、六道确定性计划守卫、每运动员独立 SQLite 隔离、强制 TOTP 双因素认证，共 1245 个测试，2026-10-02 的 Strix 灰盒渗透测试未发现高危问题，可 Docker 部署在 Raspberry Pi 5 上。
推荐理由：作者开源了自建的骑行训练 AI 教练，把模型限定为只解释工具算出的数字，防幻觉做法通过 CI 评测门禁落地，可迁移到其他 Agent 项目。
jpsanders 发布 pascal-llm-stack 仓库，给出在 Ubuntu 26.04.1、kernel 7.0 上让 GTX 1060 Mobile 6 GB 运行本地 LLM 的完整脚本，包括给 NVIDIA 570 驱动打 kernel 7.0 补丁、用 CUDA 12.8 runfile 避开 apt 的驱动破坏、回退 torch 2.7.1 获取 Pascal 内核，以及用三个 cmake 参数编译 llama.cpp。
推荐理由：作者在 GTX 1060 上逐层修通驱动、CUDA 和 PyTorch 并给出 llama-bench 实测，方法可迁移到其他老卡本地部署场景。
GitHub 开源项目 OrdinFlow 针对企业和医疗等机构的敏感文档处理，提供 100% 本地、可物理隔离（air-gapped）的解决方案，支持 GDPR、HIPAA 合规。它采用 Spatial ONNX OCR 与本地 Vision-LLM 的双引擎三层共识机制抑制模型幻觉，并内置基于 Set-of-Mark 视觉定位的 Agentic RPA，可自动操作缺乏 REST API 的 Windows 传统桌面软件。项目完全免费开源，可在消费级 GPU/CPU 上运行，无需 Docker/Redis。
Melo 是一个开源的本地优先 AI 工作区，覆盖 macOS、iPhone 和终端，对话、知识与记忆默认存本地，同步可选。用户可接入 Claude、OpenAI、OpenRouter、本地模型等自定义连接，按项目组织工作，跨对话携带上下文，并为每个 Agent 配置指令、模型与能力，支持 MCP 工具、可复用技能和多 Agent 协作。2026 年 10 月 17 日更新改进了工具兼容性、长对话上下文召回和共享项目记忆。
推荐理由：开源的本地优先 AI 工作区，对话、知识和记忆都存本地，还支持多模型接入与 Agent 协作，适合关注数据主权的读者。
divemorb 开源了 local-llm-harness，一个让本地 LLM（llama.cpp 上跑 Qwen 27B）按计划步骤无人值守编码的工具，每步在全新 podman 沙箱中运行、经独立验证容器跑项目测试，通过后才提交。作者称在一个真实项目中用几周时间让本地模型写了大部分代码，约 80% 的步骤首次尝试即通过，仓库附带经验总结 LESSONS.md；安全模型靠容器隔离实现，沙箱无网络、只读 root、API 密钥不进入沙箱，仅通过 llmproxy.py 的 chat completions 代理通信。
推荐理由：作者把一个真实项目中跑通本地模型无人值守编码的完整工具链开源，隔离沙箱和验证容器设计可直接复用。
/u/C0smo777 在 EPYC 9575F + 768 GB DDR5 + 4x RTX 3090 上实测 Unsloth 的 DeepSeek-V4.1-Flash-1017 UD-Q4_K_XL 量化版，用 llama.cpp PR #30817 构建，散文生成从 12.6 提升到 25.4 tok/s，代码达 39.3 tok/s。关键调优包括用 --load-mode none --lazy-mode off 全量载入 RAM、每物理核一线程、-ub 2048 使 prompt 处理快约 35%；DSpark Q8_0 投机解码在代码上约 80% 接受率、速度翻倍，散文仅约 30%。作者还记录了 --fit 无法为 drafter 正确分配显存、与 --override-tensor 冲突等坑。
推荐理由：作者实测给出了四组配置的逐项对比数据，包括 DSpark 投机解码在代码与散文上的接受率差异，可复现性较强。
Hugging Face 发布 AnyLanguageModel 1.0，它是 Apple Foundation Models 框架的 drop-in 替代，可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成，托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点；同日发布 swift-huggingface 1.0 与 swift-xet 1.0，并可运行于 Linux。
推荐理由：官方回顾了一年迭代脉络，并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法，对 Swift 开发者有直接参考价值。
转引 TechPowerUp 报道：AMD Ryzen AI Halo 迷你主机定价 $4k，搭载 Ryzen AI Max+ 395 和 128GB 统一内存，可运行 32GB 显存 GPU 装不下的大模型；对比 NVIDIA DGX Spark 的 128GB 版 $7k，后者在 time-to-first-token、CUDA 集成和 fp8/fp4 支持上更快更全，但 Halo 支持 Windows 和 Linux、完全本地私有、无订阅和云依赖，代价是内存带宽、待机风扇噪音和缺乏高级精度格式。作者还实测用 128GB Strix Halo 机器加载 qwen3.8-flash，通过 codex 配合 sumus 做本地多文件重构，把整个仓库和模型同时放进统一内存实现离线工作。
ISTA-DASLab 演示用从 SSD 流式读取的预填充模型恢复 Qwen3.8-27b 低量化的精度，同时保持低显存占用和快速解码。上下文超过约 4k 时速度相比不用预填充模型无损失，需 Nvidia Blackwell GPU 运行，图示为 MMLU-Pro 准确率，代码已提交至 HuggingFace。
开源项目 Gufo（MIT 协议）发布首篇博客，讲解其 AI 推理引擎如何针对 AMD Strix Halo 芯片大容量统一内存但带宽较低的特性自建缓存方案。该项目约一个月前发布，作者表示博客内容不依赖该硬件，对其他推理引擎项目同样有参考价值。
BigMoeOnEdge 作者发布自适应流式 Planner，作为 llama.cpp 之上的资源调度层，在手机、Mac、Windows 笔记本等设备上运行远超内存的 MoE 模型，并提供 OpenAI 兼容本地服务器。实测 Qwen3.6-35B-A3B 在 12GB Android 手机上解码 10 tok/s、NPU prefill 100-300+ tok/s，16GB Mac 上 Planner 将解码从 7 提升到 25-30 tok/s、2000-token prompt 从 21 秒降到 3.4 秒；DeepSeek V4 Flash 284B 在 12GB 手机上 1 tok/s。作者考虑向 llama.cpp 提 PR 集成。
作者总结了自己近期通过 CLI 使用 lemonade server 时最常用的几条命令，涵盖模型拉取、配置和基准测试（benchmark）操作，并整理成文章分享，同时邀请读者补充各自偏好的命令。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进：新增 float8_e4m3fn 张量与 F.scaled_mm，MoE 模型解码比 2.14 提速 5 到 6.5 倍，M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核（几何平均 1.23 倍），词表 softmax 约 8 倍加速；Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB，并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。
推荐理由：Hugging Face PyTorch 团队亲述 MPS 后端改进细节，给出各模型的实测吞吐数字，Mac 上跑模型的读者可以对照评估升级收益。
GitHub 新仓库 DSN-exp 发布了一套完全本地运行的智能体底座 AICF（Agent Infrastructure Cybernetics Framework），包含 infra（模型编排、资源池）、harness（Agent 循环、18 个标准工具、记忆与人格）与 apps 三层结构。框架支持 llama.cpp、Strata、LM Studio 及 OpenAI/Anthropic API 四类后端，主入口为基于 FastAPI + SvelteKit 5 的 Web 控制台 dsn_ui。项目总计约 583 个文件、12 万行代码，内置 90 个测试文件，当前基线为 547 通过 / 0 失败，属内部实验性项目、无公开许可证。
GitHub 仓库 gyr0byte/Generative-AI 是一个用 LangChain 学习生成式 AI 工程的实践项目，涵盖聊天模型、RAG、嵌入向量和智能体。已实现 Groq、Google Gemini、Mistral 和 Hugging Face 的聊天模型示例、Mistral 终端与 Streamlit 聊天机器人，以及本地 TinyLlama-1.1B 文本生成、gemini-embedding-2（64 维）嵌入和 RAG 文档加载、文本切分示例。计划完成 RAG 端到端流水线、基于 FAISS 的向量检索和 LangGraph 智能体工具调用。 temu
DavidTimar1 发布开源工具 GPUGate（AGPLv3），在 RunPod 和 Verda 上列出可租 GPU 机器与实时价格，一键租用后用 vLLM（RunPod 上 GGUF 模型用 llama.cpp）启动模型服务，并通过固定本地地址 http://<host>:8719/p/<project>/v1 转发 OpenAI 和 Anthropic API 请求，工具看不到机器和密钥。支持空闲或故障时自动销毁机器、在允许范围内自动迁移到更便宜的机器，并统计 token 与费用。作者声明这是业余项目，无维护承诺，租用会产生真实费用，使用前应先读代码。
GitHub 项目 agent-on-a-budget 构建了一个客服 AI Agent，用 LLM 标注 1,080 条消息训练小 ML 模型，并按置信度把消息路由到最便宜的助手：ML 模型答简单问题、本地 Ollama 上的 3B 模型答政策问题、云端 LLM 处理退款等工具调用、高额退款转人工。基于 OpenAI gpt-5.4-mini 的 60 条消息实测显示，分层路由比只用云端专家便宜 1.9 倍、快 1.6 倍，55% 消息零成本处理，标注全部消息仅花 $0.07。项目支持 Mac、Windows 和 Linux，内置离线测试、答案缓存重放机制，并提供逐章 Notebook 和 Streamlit 演示应用。
推荐理由：给出实测的成本、延迟和准确率分层路由数据，读者可以参考这套便宜模型处理简单消息、云端大模型兜底的省成本思路。
一位用户计划以约 €550 购入二手 HP Z640（2x E5-2680 v4、64GB ECC 2400），加装两块 3060 跑 Qwen 3.8 Flash Next（Strata）和 llama.cpp，并兼顾 PyTorch CV 训练、PyBullet RL、LLM LoRA 训练与 MiniMax H3 视频生成。其疑问包括双 3060 能否装入 Z640、双路 CPU 是否影响 llama.cpp 的 MoE offload、M6000 作第三卡是否值得保留，以及 PSU 仅两根 6-pin、HP 限双卡各 150W 时用适配器加功率限制是否可行。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包，含 S 和 S-small 两种规格，基于 Mirai 的 2-bit trellis 构建，用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次，Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行，S 版解码 82-113 tok/s，支持最高 262144 上下文，需 Linux、CUDA 12.8+ 和约 64 GB 内存。
推荐理由：作者实测了加拒绝向量前后的拒绝数和各档速度内存数据，读者可以据此判断这个去对齐量化包的实际表现。
GitHub 仓库 Schaefer42740/llama-terminal-completion 发布 LlamaTerm，一个用 Go 编写的终端 AI 助手，单二进制启动小于 100ms，可用 lt ask 提问、lt cmd 生成 shell 命令。支持 Ollama、LM Studio、llama.cpp、OpenAI、Azure OpenAI，内置多步工具循环的 lt agent、RAG 索引、命名角色与会话、MCP 服务器接入、结构化 JSON 输出和视觉输入，工具调用带确认、危险命令检测与审计日志。
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored 的 GGUF 量化版本，示例量化格式为 Q4_K_S。该模型可通过 llama.cpp 直接运行或启动 OpenAI 兼容本地服务器，并支持在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade、Pi、Hermes Agent、OpenClaw 等工具中使用。
BayesChat 是一款 iOS 17+ 私密 AI 聊天应用，支持 iPhone 和 iPad、22 种语言，数据全部留在本地。它通过 BYOK 接入 OpenAI、Anthropic、Google Gemini、OpenRouter 及任意 OpenAI 兼容端点和 Ollama、LM Studio、llama.cpp 等本地运行时，密钥存于 Keychain；支持经 Streamable HTTP 连接远程 MCP 服务器并逐个开关工具，预设可保存提示词、模型、参数、记忆与工具一键切换，长任务在后台经 iOS 26 continued-processing API 继续运行并显示在 Dynamic Island。
D-sorganization 开源的 Bitnet_Launcher 是一个基于 PyQt6 的桌面 GUI，通过封装 llama-cli 在本地运行 BitNet 大语言模型。它提供模型发现、推理参数设置、逐 token 流式输出的内嵌聊天、Windows Terminal 启动、HuggingFace 目录中全部 16 个 BitNet 兼容模型的下载器，以及从 git clone、pip install 到 cmake 构建的引导式安装管理。
奥地利免费 AI 项目 KIplatz 在 GitHub 开源源代码，包含 Windows 程序与 Linux/Mac 助手（node-agent/）及手机与浏览器应用（app/），采用 GNU AGPL 3.0 许可。程序按设备显存自动选择 Ministral 3 的 14B、8B 或 3B 参数模型，无合适显卡时用 CPU 跑 8B 或 3B，社区服务运行在维也纳的欧盟服务器上。
GitHub 开源项目 Beginner-Friendly-Ai-Vtuber 面向新手和非程序员，提供易搭建的 AI VTuber 方案。其使用 Whisper（base.en）做英文语音识别、Ollama（llama3.2）生成回复、Chatterbox Turbo TTS 实现零样本声音克隆，并集成 VTube Studio 控制、Twitch 聊天互动和 OBS 实时字幕。项目基于 Python 3.10.11，主要支持 CPU 用户，无需 AMD 或 NVIDIA GPU 也可运行。
laffy-999 发布 Open Grammar 插件，在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议，不依赖云模型和外部检查服务，仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b，在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落，约需 3 GiB GPU 显存或可回退 CPU 运行；正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。
推荐理由：README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑，读者可以照着按内存与语言需求选型复现。
ZQM Computing 在 GitHub 开源 ollama-fleet-patterns 仓库，提供用 Ollama 把本地大语言模型按多机舰队而非单机运行的运维模式。内容包括 fleet_health.sh 主机健康检查、model_sync.sh 基于模型 manifest 的同步、单文件 RAG 参考实现 rag_minimal.py（仅依赖 Python + numpy，含离线 --self-test），以及拓扑、VRAM 预算、模型管理和运维文档；面向已有单机 Ollama 并想扩展到多台主机的开发者和 homelab 用户，采用 MIT 许可。
推荐理由：仓库作者从生产自托管经验提炼多机 Ollama 舰队运维模式，健康检查、manifest 同步和单文件 RAG 都可直接复用。
面壁智能 MiniCPM-V 团队介绍了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术。该团队称 LES 首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码速度超过 20 token/s。