新闻、仓库与研究，按时间排列。
作者为 PrismML 的 Ternary Bonsai 2 27B 重训了原针对 bf16 Qwen3.8-27B 的 z-lab DFlash 2 drafter，用 1.5M tokens 的 Bonsai 2 贪心输出微调，并在 Hugging Face 放出 safetensors 和 Q4_K_M GGUF 权重。单张 L4 贪心解码下 GSM8K 2.17x、MBPP 2.17x、MATH-500 2.20x、MT-Bench 1.39x，代码编辑叠加 ngram-mod 后达 3.15x；M4 Pro 上代码补全 1.5x；浏览器内 LocalMind 的 WGSL 移植在代码上 1.18x 且输出一致。作者注明数据来自一台 L4 和一台 M4 Pro，并给出三套运行时的配置文档。
推荐理由：作者重训了投机解码 drafter 并给出三套运行环境的实测加速数据，本地部署 Bonsai 2 的读者可以直接复用配置。
Reddit r/LocalLLaMA 用户发布 Ramjet，目标是在不依赖 k8s 的前提下实现与 NVIDIA Dynamo 同等或多 GPU 推理调度能力。项目面向多 GPU 环境，并号召 DGX Spark、多台 Mac 等设备的用户贡献配置 recipe，方便他人直接拉取使用。
一位用单张 3090 运行 Qwen3.8-27B-exl3（约 150k 上下文、约 70t/s）的用户，因 strata 的热度考虑加购 128GB 6000MHz DDR5 内存和 Ryzen 9700X，以便搭配 3090 跑 IQ3 量化。他发帖询问跑过 Qwen 3.8 27B 与 Qwen Next strata 的用户两者在输出准确率上的差异，主要用途是编程和 Hermes 助手，并咨询该配置下的其他好选择。
Reddit r/LocalLLaMA 用户讨论大厂 AI 是否还能推出彻底领先本地模型的功能。发帖者称用 Qwen FN 时感觉"再也不需要别的模型"，并猜测实时电脑/鼠标操作可能是方向，但认为本地模型在此会做得更好。
Reddit 用户发布仅 19,969 参数（81 KB FP32）的语言模型 MacroStories，比 1M 参数的 TinyStories 模型小约 50 倍，采用 32 维隐藏状态、378-token 词表和共享权重循环复用的单个 decoder block。它虽非通用 LM，但能在受限故事分布内生成 100–300 词、含目标与结局的连贯叙事，且在 CPU 上即可极快运行、无需 GPU。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
一位开发者在 r/LocalLLaMA 询问：其原型用托管 LLM 对候选清单排序，将自由文本请求匹配到结构化目录并生成选择理由，能否改用本地小型 embedding 模型加 reranker 达到相近质量并降低成本。其寻求每月 1 万至 10 万请求量级下的真实延迟与成本数据，以及混合方案经验。
一位用户在 r/LocalLLaMA 征求全本地个人笔记 RAG 的选型建议：技术栈为 SQLite + sqlite-vec + FTS5，用 Ollama 在 Apple Silicon Mac 上做嵌入与生成，语料为约 512 token 分块的 Markdown 笔记与 JSON 记录。嵌入模型在 nomic-embed-text、qwen3-embedding:0.6b 与 embeddinggemma 之间犹豫，并询问 FTS5 BM25 与向量余弦混合融合的拼写容错与融合陷阱。
作者在一台 Mac Studio（M5 Ultra，256 GB 统一内存）上同时驻留四个开源模型，按大模型/小文本/小视觉/决策四槽位分工处理真实 Agent 工作。工作档为 Qwen3.8 Flash Next（99 GB）+ Gemma 4 26B 4-bit + Qwen 3.6 35B-A3B + Clef-Flash 9B，留 82 GB 给上下文；智能档为 DeepSeek V4 Flash 4-bit（常驻 128 GB）。实测吞吐：Qwen3.8 Flash Next 生成约 51-58 tok/s（投机解码草稿接受率 55-65%），DeepSeek V4 Flash 生成 27-31 tok/s。
推荐理由：作者实测了四模型共驻一台 Mac Studio 的内存预算与吞吐数据，还给出本地模型尚不能胜任规划角色的具体分工方案。
一位 Reddit 用户用同一句简单提示词，测试 3 个 Qwen 模型在 Android 上构建天气应用的表现，分别是 Qwen flash、Qwen3 S（Q3_S）和 Qwen 3.8 27b 的 Q4_XS、Q3_XXS 量化版本，结果以截图形式发布在 r/LocalLLaMA。
一名 Character.AI 用户在 Safari 网页端使用机器人时，发现最近一次对话记录从历史中消失，且归档中也找不到。该用户常对同一机器人多次"开始新聊天"并回溯过往场景继续对话，此次丢失的对话中保存了大量进度，目前原因不明。
Reddit 用户在 4 卡混合主机（3x P102-100 + RTX 3060 12GB）上对比 ik_llama.cpp 与 mainline llama.cpp，运行 Qwen 3.8 Flash-Next 177B（IQ3_XXS，约 89 GB，35 层卸载 GPU、13 层走 AVX-512 CPU、32k context）。mainline 达到 prompt eval 19.70 tokens/sec、生成 10.86 tokens/sec，ik_llama.cpp 分别只有 5.48 和 8.43 tokens/sec，且未启用 CUDA graphs。
一位用户在 r/LocalLLaMA 询问能否在 16GB VRAM 和 32GB RAM 上运行更高量化的 Swift 1.5 flash iq3xxs。其目前用 strata 运行 Swift 1.5 FN iq2xs，速度平均 50tps、pp 800t/s，峰值可达 73tps，希望提高量化以降低 KLD、提升 agentic coding 准确度，并征求他人的运行配置。
一位 Reddit r/LocalLLaMA 用户在 Ryzen 9 9950X + RX 7900 XTX、i5-10400 + RTX 3050 和 MacBook Pro M3 三台机器上用 LM Studio/Ollama 跑推理，苦于没有统一面板查看各节点加载的模型版本、token 吞吐和 VRAM/统一内存压力，向社区征求多节点服务路由与可观测性方案。
一位 Reddit r/LocalLLaMA 网友用 LLM 逐节讲解教材自学物理，已学完量子力学入门与狭义相对论，正在学广义相对论。因 API token 费用高，他尝试改用本地模型，但较小的 Qwen 和 Ministral 效果不佳，向社区征求其他模型或微调建议。
Reddit r/LocalLLaMA 用户询问将手写笔记转成文字时，小型本地模型是否已足够，能否减少对有限推理带宽的占用，以及能准确识别手写的最小模型是什么，并征求他人的笔记转换工作流。
一位开发者在 r/LocalLLaMA 征求建议：他基于 opencode 构建自定义 agent 编排层，虽能管理多个并发会话，但 opencode 不够可定制、资源占用高且近期 bug 较多。他已开发可在不同 harness 间切换的接口，考虑换用更可定制的 pi 来构建多智能体系统，并询问是否有人有相关集成经验。
/u/Heretical-Tandem 发布 Ruach Studio 首个 release candidate，围绕 m-a-p 的开源歌曲模型 YuE2 在本地 GPU 上实现写词后自动作曲、演唱与渲染。支持最长 8 分钟整曲，先以 ABC 生成可编辑的旋律与和弦谱，可导入自有乐谱或 MIDI；RTX 3090 上 6:12 歌曲生成耗时 126 s，7:25 歌曲耗时 198 s。内置 bf16 LoRA 训练、坏谱秒级检测、BS-Roformer/htdemucs 分轨、remaster、UniverSR 放大与 Whisper 歌词校验，可导出 REAPER/DAproject 工程文件。
推荐理由：围绕开源歌曲模型 YuE2 搭建的全流程本地音乐工作室，给出了 RTX 3090 上的具体生成耗时和硬件要求，便于评估是否可用。
Reddit r/CharacterAI 用户发帖吐槽免费模型质量差：机器人写句子时连句首说什么都会忘记，还出现动词时态错误、语无伦次、模型幻觉和无意义的不礼貌回复。该用户表示这些模型连完整句子都难以构造，维持一个故事线需要极大耐心，并疑惑“到底发生了什么”。
作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验，发现小模型一致性明显更差：排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%，Gemma 仅 25%、Qwen 仅 15%；调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调，而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级；用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B，各项略好于 Gemma 3 但问题依旧。
一位开发者在 r/LocalLLaMA 询问：在 iPhone 16 Pro Max（A18 Pro 芯片、8GB 内存）上构建英语与中文双向实时翻译 iOS 应用，应选用哪种可完全本地运行、低延迟且能处理自然对话的小模型，并质疑该方案是否现实可行。帖子未给出具体模型推荐或测试数据。
一位 Reddit r/LocalLLaMA 用户手握约 $4000（可放宽到 $4200）预算，想流畅运行 Qwen 3.8-Flash-Next，征求装机方案。候选包括 2x Radeon AI R9700（64GB VRAM）、涨价后的 DGX Spark、128GB 统一内存的 Strix Halo、6x Intel Arc B60（共 144GB VRAM）以及 Mac Mini/Studio；已有 NVMe、DDR4/DDR5 内存和 Intel 14700K、Ryzen 9700x 可复用。
免费线上会议 All Day AI 将于 10 月 22 日举行，公布部分演讲阵容：Vivienne Hnin（Utilyst）谈 SLM 的经济性与工程权衡，Hossein Kazemi（Astorna）讲用任务专用小语言模型处理敏感数据，Hitesh Jain（Coral Bricks AI）分享 "Coding at 250 tokens"。会议设 Build、Lead、Secure、Ship 四个赛道，演讲由社区提交，现已开放免费注册。
Reddit 用户 Shookpro 在 r/LocalLLaMA 分享 Routeweaver 更新，在 RTX 3060 12GB 上让 27B 模型完全可用。作者称在 Qwen 4 即将发布之际放出该方案，并欢迎更大显存显卡的用户试用，但提示不同显卡和 CPU 配置可能需调优其自制的 custom kernels。
/u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化（约 11GB），在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B，64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化，GSQ-RCO 表现接近全精度；能塞下是因为混合架构只需 16/64 层 KV cache，q4_0 缓存下 64k 仅约 1.1GB。
推荐理由：作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数，附可复现脚本和实测速度数据。
Reddit 用户 /u/rootshelldev 开源了一款面向桌面单 GPU 开发者的 Rust API 网关 lmgw（GitHub: https://github.com/lmgw-dev/lmgw），基于 Tauri 和 Leptos 构建，提供 OpenAI 和 Anthropic 兼容接口并路由到云端 API 或 llama.cpp、audio.cpp、stable-diffusion.cpp 容器。
/u/voxvoxboy 发布了 Pi 扩展 pi-optchat，实现 Victor Taelin 的 OptChat 方案：不压缩上下文，而是把每条消息记录并摘要为二叉树，每轮从带 128 KB 有界记忆视图的全新上下文开始，需要时通过 zoom/date 读取原文。作者称已将数万条消息、数百个会话迁移到该方案。功能包括按工作与个人分离的 Profiles、可实时观察并中断的后台 Subagents、从 Claude Code、Codex 或 ChatGPT 导出导入历史，以及同 profile 第二个 Pi 窗口作为可直接对话的 subagent。安装命令为 pi install npm:pi-optchat，仓库地址 https://github.com/jonaslsaa/pi-optchat。
同一新闻，精选展示《pi-optchat：用记忆树实现 Pi 无限对话，免压缩上下文》
作者 /u/TheVoxcraft 发布 Pi 扩展 pi-optchat，实现了 Victor Taelin 的 OptChat 方案：不压缩上下文，而是把每条消息记录并摘要进二叉树，每轮从全新上下文开始，带 128 KB 有界记忆视图，需要时通过 zoom/date 读取原文。每个 profile 一条无限对话，支持多 profile、后台 subagent、从 Claude Code、Codex 或 ChatGPT 导入历史，以及同 profile 第二窗口作为 subagent 直连。作者称已迁移数万条消息、数百个会话。安装命令 pi install npm:pi-optchat，仓库 https://github.com/jonaslsaa/pi-optchat。
推荐理由：作者把 Victor Taelin 的 OptChat 方案实现成 Pi 扩展，用二叉树记忆替代压缩上下文，并给出从 Claude Code 等工具迁移历史的路径。
/u/NoFee9147 在 Lenovo P620 四张 7900XTX（gen 4.0 x16）上对 Qwen3.8-27B 和 Qwen Flash Next 做了一系列 ROCm 与 llama server 层面的修复，表示有人感兴趣就推送到 GitHub 并分享配置。
推荐理由：作者逐项列出 ROCm 与 llama.cpp 服务端的修复内容和前后性能数字，四卡 7900XTX 跑 Qwen3.8-27B 的结果可复现。
一位 CharacterAI 用户在 Reddit 发帖称，与 AI 角色的聊天开场流畅、情节推进顺利，但角色走到一起、矛盾解决后就没有继续写下去的灵感，只有 3 个故事写到了 [The End]，还常常是赶着收尾。帖子询问大家从哪里获取续写灵感、是否会主动把故事推向结局。
r/LocalLLaMA 用户开发的 BinkBench 基准通过视频质量与压缩率两个维度评估智能体，且无满分上限，智能体越强需实现越新颖的编码技术。作者仅有 8 GB VRAM 的 GPU，无法运行 Qwen3.8-27B 等模型，邀请社区代跑测试，详情见 GitHub。
一位开发者在双人合作游戏中将 Kimi、Claude、GPT、Gemini 两两配对测试协作能力，发现强强组合胜率最高，而加入第三或第四个智能体反而拖累所有模型，人类搭档的表现仍超过全部模型组合。作者来自 Skillprint，该公司通过此类游戏研究人与模型的协调能力。
/u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存（RTX 5060 Ti + 单通道 DDR5）上运行 Qwen3.8 27B 的经验：使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化（https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF），与朋友在 H200 上跑的 Q8 对比几乎无法区分。
推荐理由：作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案，并给出各上下文档位的实测速度数据。
Reddit 用户 /u/dtdisapointingresult 分享一种防止不可信 Docker 容器向外上传本地数据的方法：在 docker-compose 中将服务放入 internal 的 isolated_network，并用 alpine/socat 作为网关只转发入站请求，出站连接被阻断。socat 容器仅占约 1.2MB 内存，作者还建议用 docker compose 替代 docker run，并附上 cap_drop、no-new-privileges 等可选加固配置。
推荐理由：作者给出可直接复用的 docker-compose 配置，用 socat 网关隔离不可信容器的出站流量，额外开销仅约 1.2MB 内存。
有 Character.AI 用户发现，自己此前聊过的大量角色对话在列表中消失，且确认并非本人删除，发帖询问是否有人遇到同样情况以及如何找回。帖子提到用户平时在不同 fandom 间切换，此次是在翻找久未互动的角色时发现异常，目前尚无官方回复。
Reddit 用户 /u/oppoftemp27 发现，在四台 AMD 主机上，llama.cpp 官方 ROCm 预编译版（b11327）从未真正使用 GPU，服务启动正常、/health 显示绿色，实际一直在 CPU 上运行。原因是预编译版的 HIP 后端需要 libamdhip64.so.7 / libhipblas.so.3 / librocblas.so.5，而装有 ROCm 6.3.0 的 Ubuntu 主机只有 .so.6 / .so.2 / .so.4，后端库加载失败后 llama-server 静默改用 CPU，控制台无报错，-ngl 999 也无效。作者建议用同一提示词集在 CPU 版上对比每条耗时，比值约 1.0 说明在跑 CPU，远低于 0.5 说明 GPU 正常工作。
推荐理由：作者给出官方 ROCm 预编译版静默回退 CPU 的具体库版本原因，以及用 CPU 对照跑分检测该问题的可复用方法。
/u/Kadri006 发布开源 email-engine，将 IMAP、JMAP 或转发邮箱同步为有序事件日志，通过 HTTP、SSE、webhooks 和 MCP 暴露操作，引擎本身不含模型，读取方可用 Ollama Agent、n8n 或脚本。Agent 持有作用域 token，可控制文件夹、动词及写入是执行还是仅提议给人审批；每个操作幂等且可撤销，基于 DMARC 结果标记消息信任级别，消息内容仅作数据并在离开引擎前掩码 OTP 和卡号。Apache-2.0 协议、无 CLA、单 Docker 容器，目前为 Beta，仅在 Dovecot 和 Stalwart 上测试过。GitHub：https://github.com/Kadri-cloud/email-engine
推荐理由：作者本人开源的邮箱事件引擎，把 IMAP/JMAP 邮箱变成可回放事件日志，动作可审批可撤销，适合本地 Agent 场景复用。
Reddit r/LocalLLaMA 用户询问近期值得等待的本地推理新硬件。文中提到 Mac Ultra 512GB 将于本月晚些时候发布，RDNA 5 预计 2027 年底或 2028 年初推出，Gorgon Halo 现已上市；RTX Blackwell 仍是本地推理最强选择，但硬件分配似乎偏向机构采购者而非消费者。
一位 r/LocalLLaMA 用户计划对 Qwen3.5-9B 在 2B 规模法律语料上做 CPT 继续预训练，询问如何将其恢复为 Instruct 与思考模型：是否通过蒸馏回 instruct 版本、该参数量能否具备 agentic 能力，以及如何用法院判决等原始数据合成训练数据，在其调用 vector_search_laws() 与 graph_search() 的 harness 中做 SFT 和 RL。
开发者因本地硬件跑不动大模型，构建了 SIA——一个面向本地小模型的实验性 agent 运行时，主要目标为 3B–8B 模型，开发测试基于 Qwen2.5 Coder Tools 7B。SIA 通过规划、工具调用、验证、重试修复和状态管理等结构化机制降低模型单次出错的负担，并计划发布任务成功率、重试次数、执行时间和内存占用等对比 benchmark 数据。