新闻、仓库与研究，按时间排列。
Hugging Face 发布 Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX，提供 Q8_0_ROCMFPX 量化版本。该模型可通过 llama.cpp 本地部署，支持 OpenAI 兼容服务器，也可用 Ollama 运行（ollama run hf.co/Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX:Q8_0_ROCMFPX），并可在 Docker Model Runner、Lemonade 及 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等工具中加载使用。
EdgeDeID 是一个 0.6B 参数的本地运行临床去标识化模型，训练全程不使用真实患者文本，由三个 LLM 教师生成合成笔记再统一标注。在 100 篇人工核验的合成域内基准上达到 0.994 micro-F1，99% 的笔记无遗漏标识符，而八个现成系统中最强者仅为 0.857 和 12%；量化后在 CPU 上仅占 615 MB。但在 MIMIC ICU 护理笔记上 F1 降至 0.48，三个手写上下文示例可回升 0.08 F1。
一个面向生产环境的企业级 RAG（检索增强生成）问答平台，用 Sentence Transformers 生成语义嵌入，结合 FAISS 与 BM25 通过 RRF 混合检索，调用本地 Ollama 运行的 llama3.2:3b 模型生成有据可依的答案，并通过 FastAPI 提供服务，无需付费 LLM API key。早期在 6 个问题上评测，Recall@1 达 83.33%，Recall@3 与 Recall@5 均为 100%。
EasyComfyUI 发布 V5 版本，新增 Kaggle 笔记本（T4 ×2 免费 GPU）与更可靠的下载逻辑，原有 Google Colab 版同步保留。该笔记本无需编程经验即可运行 ComfyUI，支持 Stable Diffusion 与 FLUX 图像生成；推荐 FLUX.2 [klein] 9B，可在免费 T4 约 15GB VRAM 内运行（官方规格约 29GB）。生成图片自动保存至 Google Drive，还支持从 Civitai 和 Hugging Face 下载模型。
GitHub 新仓库 Local-RAG-Assistant（DocuMind）开源，用户可上传 PDF 并用自然语言提问，通过 ChromaDB 向量检索与本地 Ollama 模型生成基于文档内容的答案。项目前端用 React、后端用 FastAPI，配合 PyMuPDF 和 Sentence Transformers 实现文本提取与嵌入，默认模型为 dolphin-mistral，全程无需云端 LLM API，并返回来源文件名与 chunk 索引。
Reddit 用户更新了 ik_llama.cpp fork，并寻求社区反馈。该实现在 6GB 显存的 RTX 2060 上运行 Qwen3.6-35B-A3B-UD-Q4_K_M，短提示词生成约 45–48 t/s，28K 上下文约 37 t/s，prefill 约 430–700 t/s。由于反馈太少且代码需拆分清理，作者暂不合并到主线。
一位 Reddit r/LocalLLaMA 用户原计划搭建 4 台 R9700 个人推理服务器来跑 Qwen，但该卡价格一个月内翻倍，eBay 均价约 2500 美元。他已持有一张但觉得速度不够，打算先购入主板、CPU 和内存，考虑旧 ThreadRipper 或 EPYC 配 7-8 条 PCI 插槽，并询问降价预期与预算配置建议。
MicheleCampi 发布 gke-llm-inference-platform，一个基于 Terraform 与 ArgoCD app-of-apps 的 GKE LLM 推理平台，通过 scale-to-zero 的 L4 GPU 节点池运行 vllm-coldstart-operator v0.6.0，部署 Qwen2.5-7B-Instruct。实测中 6 个 ArgoCD Applications 全部 Healthy 且 Synced，vLLM Pod 0 重启并成功完成一次 chat completion（39 prompt + 33 completion tokens），随后 terraform destroy 清空全部 7 个资源实例。
Anton Sannikov 在 GitHub 发布 Mnema，一个把用户记忆存为本地纯 Markdown 文件的工具，供 Claude、ChatGPT、Gemini、DeepSeek 或本地模型共享上下文，无云端、无账号，支持 Windows、macOS 和 Linux。记忆包含画像、记忆地图和带日期的事实，过期事实会被重写或归档；支持多模型协作模式（Council、Debate、Red team 等），可通过 MCP 接入 Claude Code、Claude Desktop 和 Cursor，内置 13 个本地模型选项并支持 Ollama。
推荐理由：本地 Markdown 文件记忆可同时供云端与本地模型读取，原文还给出 153,000 字符合同问答中 token 消耗的实测数据。
GitHub 开源项目 FinSight 是一个约 250 KB、零依赖的本地投资终端，提供实时行情、FX 风险面板和经济日历，无需账号或 API keys，数据完全留在本机。其内置 AI 研究智能体 Kestrel 默认使用 DeepSeek，也支持 Claude Haiku 等 OpenAI 兼容模型，配备 35 个只读工具、策略扫描和 SEC EDGAR 文件研究，只读设计不可交易。支持从 Interactive Brokers / moomoo / Tiger 导入持仓，所有调用记录本地可追溯。
WeeLLM 开源了针对大型扩散模型的分层流式推理工具，通过把文本编码器和 transformer 层按显存预算动态流式加载到 GPU，在不量化的 bfloat16 精度下让 4GB 显存运行 FLUX.1-dev、SDXL、Qwen-Image 等模型，并给出 RTX 3050 上的显存峰值与生成耗时基准表。现已提供 ComfyUI 官方扩展，支持文生图、图生图和文生视频，但作者说明自回归文生图模型因需上千次前向传播而流式耗时数小时，不实用。
NERticleS 是为 BSG Institute「LLM 与 API 基础」课程 Project B 开发的新闻文章自动分析流水线，包含 7 个异步阶段，可执行实体抽取、SEO 摘要生成和情感分类。系统通过 FastAPI webhook（POST /api/v1/webhook/articles）接收至少 50 字的文章内容，返回 202 Accepted，结果写入数据库供查询。项目提供优化 Dockerfile，可部署到 Google Cloud Run，支持通过环境变量配置 GEMINI_MODEL（如 gemini-3.8-flash）和 OLLAMA_URL，生产环境建议用 Google Secret Manager 管理 GEMINI_API_KEY。
开源项目 open-transcribe 提供本地视频和课程转写，基于 Whisper，支持 CUDA GPU、Metal 或 CPU 运行，实时显示转写结果，可选本地 LLM（Qwen2.5）按停顿和内容自动分段。应用可自动检测硬件、在界面内下载和删除模型，输出带 timecodes 的纯文本或 SRT 字幕，提供 Linux AppImage、Windows 和 macOS 安装包，代码采用 MIT 许可证。
作者发布开源 Python 包 mlx-decision，可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题，一次前向即返回各选项的概率与置信度；与原 PyTorch 代码逐 token 校验，同答案下在 MPS 上通常快 1.4–6 倍，M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调，d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%；MIT 协议，需 macOS 14+ 和 Python 3.12+，仓库 https://github.com/armbues/mlx-decision。
推荐理由：作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比，本地部署决策模型时可参考这些数字选型。
网友在 RTX 5090、64GB DDR5 和 Lexar 4TB NVMe 的 Windows 10 机器上，用 Strata 以 8K 上下文跑通 DeepSeek V4.1 Flash，速度约 10 tok/s。作者称按此速度用 API 比付电费更划算，但仍对模型能在本地 PC 上运行感到兴奋。
/u/jonathanx37 在 r/LocalLLaMA 分享用 llama.cpp 在 8 GB VRAM 上运行 ISTA DASLab 的 3.5 BPW GSQ RCO 量化 Qwen-Flash-Next Coder 的方法。
Adolphsson 在 Hugging Face 发布 GLM-5.3-Flash 去审查版的 Maya-L GGUF 量化，基于 dealignai 的 CRACK 去审查 FP8 检查点（原模型 zai-org/GLM-5.3-Flash），仅做量化，保留 MTP 草稿块与视觉 mmproj 文件，上下文 1M tokens，总量 156.3 GB，分 4 个分片，MIT 许可。单张 RTX 5090 实测 1M 上下文 28.5 tok/s，256K 上下文开 MTP 提速约 16%；该版本仅通过功能验证，尚未跑 MMLU 等基准。
CrossWordFalcon 是一个可从网页生成完整填字游戏的工具，支持法语、英语、德语、西班牙语、意大利语和葡萄牙语，网格尺寸从 5×5 到 50×50，提供三档难度。它由本地小模型自动生成基于真实词典定义的线索，也可选用 Mistral、Claude 等云端模型并自动回退本地。程序 100% 本地运行，支持 CPU 或 GPU（含 Apple Silicon），推荐配置为 8 核、16 GB 内存和 12 GB 显存的 NVIDIA 显卡。
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
Chenry-123 开源了跑在本机的 LLM 网关 llm-token-gateway，夹在 Qoder、Claude Code 等客户端与模型厂商之间，提供缓存、模型路由、预算闸门与四段计费记账。实测 35 题×3 轮显示路由省 51.2%、路由加显式缓存省 55.0%，质量经 Wilcoxon 配对检验不显著；缓存仅对 qwen-flash 生效，qwen-plus-latest 不支持缓存。支持 anthropic→openai 协议转换、流式透传、MCP 查账工具与离线成本看板，仓库地址 https://github.com/Chenry-123/llm-token-gateway。
推荐理由：作者用日志实测了缓存、路由与预算闸门的省钱幅度，并附配对统计检验区分质量损失与噪声，方法可直接迁移。
m0NSYuke 在 GitHub 发布 PaperLab，一个本地优先的 AI 科研论文阅读工作台，左侧 PDF、右侧带页码和引句出处的中文讲解，报告由 Claude Code 的 /paper 或 Codex 的 $paper 生成并在发布前逐条校验引句。划词翻译完全离线，用 77 万词条 ECDICT 词典加 217 条 AI 术语库，整句翻译由腾讯 Hy-MT2 经 llama.cpp 在本机运行，RTX 4060 上首句约 5 秒、之后每句约 1–2 秒；Study 层提供三遍读法、自测题、新意度×有效性×问题大小的价值打分和想法本。
推荐理由：本地运行的论文阅读工作台，报告由 Claude Code 或 Codex 生成并逐条校验引句页码，理解层含自测题与价值打分。
haze 1.6.0 让空闲流超时窗口按端点类型区分：托管端点保持 5 分钟，LM Studio、Ollama 等本地推理服务器延长至 30 分钟，避免健康模型被误判中止并浪费重试池，并新增 streamIdleTimeoutMs 设置（1s–24h）。1.5.x 还带来终端宽度变化时重放完整转录、Ink 8 格式化流式 Markdown、/reasoning 会话级推理控制与模型固定等改进。
GitHub 开源项目 LLM Developer 发布 v1.0.0，可在本地 CPU 上训练、微调和测试小型 GPT 语言模型，无需 GPU，建议至少 4GB 内存。项目基于 NanoGPT 从零实现，使用 Streamlit 界面与 PyTorch，支持自定义字符级 tokenizer、实时 loss 图表、预置模型（Cedar、Talkative Dumbo）加载及 Hugging Face transformers 集成。
GitHub 开源的卓欣刮削器是一套本地自托管的成人影片元数据刮削工具，走建库→语义识别→网站/无码/AI 三线刮削流程，生成 Jellyfin 可用的 NFO 与封面。它以单文件 HTTP 服务加 SQLite 运行，不依赖云服务，支持 javbus、javdb、MissAV、123AV、FC2 等站点，通过 ollama 调用本地大模型做语义分类、AI 看片与标签补全，并提供 Docker 部署，支持 linux/amd64 与 linux/arm64。
开发者发布了一个基于 llama.cpp fork 的推理时 abliteration 引擎，并已将该 hook 移植到 Strata，可无需大量 VRAM 或微调即可使用 abliterated 模型。Strata 移植版目前为实验性，全模型行为与响应质量尚待验证，作者征集 Strata 用户反馈。
GitHub 开源项目 slgao/landlord_system（Dachly）面向德国房东，覆盖租房全流程：租金跟踪、Nebenkostenabrechnung 杂费分账（支持按天、按人比例计算）、Mahnung 催款 PDF、Anlage V 报税辅助（§11 EStG 收付实现制）及资产负债表。其 Ask Dachly 是只读 AI 助手，基于 Groq 的 gpt-oss-120b 通过只读工具查询用户数据，并用 e5 嵌入 + Chroma + BM25 混合 RAG 检索德国租房法条文，答案逐 token 流式输出并附带引用。技术栈为 Next.js 14 + FastAPI + PostgreSQL 16，通过 Docker Compose 一键部署。
tensai-app 发布 llama.kt，为 llama.cpp 提供 Kotlin/Android JNI 绑定，可加载任意 GGUF 模型在设备端推理，无需服务器或云端。原生 C++ 引擎提取自 llama.rn 并剥离 RN 层，已在 OPPO / Dimensity 900 上验证，Qwen2.5-0.5B（q4_K_M）CPU 生成约 20 tok/s。
同一新闻，精选展示《hokanosekai 开源 llama.kt：在 Android 端侧运行 GGUF 模型的 llama.cpp Kotlin 绑定》
GitHub 开源项目 llm-slm（Apolaki Solar Assistant），为 Apolaki 太阳能市场提供自托管、仅限太阳能话题的客服助手，通过 RAG 基于自家文档回答，每条查询成本约 ₱0。技术栈采用 Mac Studio + LiteLLM，用 SEA-LION 9B 生成、BGE-M3 做嵌入，检索用 pgvector + HNSW，支持客户/买家/安装商三种模式与 Taglish 人设，并规划了自蒸馏 LoRA（MLX 原生部署）。
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型，提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS（2.00 bpw）在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型，任务均值恢复 100.0%；IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行；llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
推荐理由：原文给出了各量化的基准恢复率和完整方法与分配文件，读者可以据此判断低比特量化到底损失了多少能力。
USB AI 是一款 Rust 编写的便携式本地 AI 助手，通过 llama-server 在本机运行 GGUF 模型，无需账号或云端 API，整个文件夹可放进 U 盘随身携带。支持与本地模型聊天、导入最大 20 MB 的 PDF/TXT/Markdown 文件并按关键词检索、导出 Markdown 对话，提供 Qwen 2.5 0.5B/3B/7B 和 Gemma 2 9B 等模型，下载时校验 SHA-256。提供 Windows x64 和 macOS（arm64/x86_64）便携包，历史 MIT 许可版本仍可用，未来版本改用 USB AI Personal Use License v1.0，仅限个人和非商业免费使用。
ARM-Sparse 项目在 Apple M2 CPU 上实测 Llama 3.2 1B 与 TinyLlama 1.1B 的 FFN 块稀疏推理，结论是 packed B8 块内核只在 40-50% 稀疏度才快过 Accelerate 稠密基线，而此时模型质量已不达标（Llama 在 20% 处困惑度 +8.773% 失败）。在 10-20% 质量门槛内，只有采用 neuron-major 权重的 per-neuron 执行器跑块对齐 mask 能比稠密快百分之几（真实 mask +0.9% 到 +3.5%，合成 mask 最高 +7.3%），且质量上限决定了收益上限，不构成端到端可部署加速；仓库附带 99 项自动化测试的完整复现包。
开源 .NET 库 InferenceEngine.Core 通过统一的 IInferenceEngine 契约封装 ONNX 推理的模型下载缓存、硬件检测、warmup 和张量前后处理等通用流程。硬件加速支持 Windows 的 DirectML、macOS 的 CoreML 和 Linux x64 的 MIGraphX（ROCm），均带 CPU 自动回退，并支持 IAsyncEnumerable 流式解码与 KV-cache carry-back。示例项目内置完整 YOLO11 人脸检测管线，模型首次加载时自动下载缓存，MIGraphX 编译的 .mxr 程序可持久化以跳过约 1–2 分钟的重复编译。
InferiaLLM 是一个自托管的 LLM 生产运行操作系统，位于应用与 AI 基础设施之间，提供访问控制与 RBAC、速率限制与 token 预算、毒性/PII 内容扫描、OpenAI 兼容推理网关、GPU 编排和审计日志等平台能力。整个平台以单端口应用（APP_PORT 默认 8000）部署，由控制面加数据面组成，配套 Go 编写的 inferia-worker GPU 节点代理和 InferiaAllSpark 一体化部署方案，支持自托管与云端算力。
作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy，将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引，相同或语义改写的查询命中缓存后延迟低于 15ms，绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区，相似度阈值 ≥ 0.88 判定命中，兼容 OpenAI /v1/chat/completions 接口，并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key，依赖 nomic-embed-text 嵌入模型，仓库附部署步骤与延迟基准脚本。
推荐理由：给出完整的架构流程、缓存阈值和部署命令，想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。
domyn edge 模型类似 Qwen，可在游戏 GPU 上高效运行，也支持服务端推理，完全开源并附带训练基础设施，无特殊授权限制。相比其默认的 nginx，Ramjet 带来显著加速，多智能体会话最高提速 61%。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
Reddit r/LocalLLaMA 用户提醒，从 SSD 流式读取 n-gram 表会带来读取扰动：TLC/QLC SSD 频繁读取相邻单元会逼近 ECC 限制，控制器会通过 read reclaim 迁移整页数据，使读取最终转化为写入。文中示例显示某单元被读取 54K 次即触发迁移，建议用 SMART 计数器监测 "data units written" 或 "LBAs written" 的增长。
Off Grid AI 开源了 AGPL-3.0 的本地优先 AI 运行时与工作台 OGAD，通过内置 llama.cpp、stable-diffusion.cpp、whisper.cpp 和 Kokoro 在本机运行文本、视觉、图像和语音模型，不经过云端。它提供聊天、RAG 项目、图像生成、语音、artifacts 画布，并暴露一个无需密钥的 OpenAI 兼容端点 http://127.0.0.1:7878/v1，可 headless 只跑网关；Pro 版为付费可选层，提供屏幕 OCR 记忆、本地会议转录、听写和带审批队列的自动化操作，一份许可最多覆盖 5 台设备。
开源项目 KiiChat 是一个 Cherry Studio 风格的轻量桌面大模型聊天客户端，使用 Zed 的 GPU 加速 UI 框架 GPUI 编写，支持 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三种接口格式，可接入 OpenAI、DeepSeek、智谱 GLM、Ollama、vLLM 等任意兼容服务。它以 SSE 流式输出并渲染 Markdown，支持 DeepSeek/GLM reasoning_content 与 Anthropic thinking 思考过程折叠显示，全部状态存于单个 JSON 文件，无服务端、无账号、无遥测，以约 25 MB 的单文件便携 exe 分发。
GitHub 项目 qiaojinxia/okapi 发布 ok-api v2 重构版，用 Rust 单二进制三角色（gateway/console/worker）把多家上游 LLM 供应商收敛成 OpenAI / Anthropic / Gemini 兼容入口，按倍率精确计费。金额全程 i64 micro-USD 定点并禁浮点，支持 Redis Lua 原子预扣、三方对账与负毛利自动熔断；Claude Pro / Max、ChatGPT Codex 订阅凭证可经 OAuth 接入（实验性），console 内置 22 个工具的 MCP 服务，8 vCPU 容器压测 json 10874 / stream 10402 RPS 全 0 错误，以 AGPL-3.0-only 开源。
推荐理由：原文给出计费、协议互转与压测数据的完整实现细节，想自建 LLM 中转网关的读者可以直接评估是否可用。