Spite：层间可替换的模块化推理引擎构想
Reddit r/LocalLLaMA 用户发布 Spite 推理引擎构想，核心规则是每一层都可在不触碰其他层的情况下替换。模型按家族和变体组织为独立 kernel 模块（如 llama4、DeepSeek V4、Qwen3.5），GPU、单算子、sampler、tokenizer、KV cache 等子系统均为可插拔组件，由 dispatcher 自动匹配最优 kernel。
新闻、仓库与研究，按时间排列。
Reddit · r/LocalLLaMAAI 评分4444 Reddit · r/LocalLLaMA精选AI 评分6262 GLM-4.7-Flash 三种量化格式在 Radeon 680M 核显上的 llama.cpp 实测对比
作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上，实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化（内部 GGUF 头均报告为 deepseek2 30B.A3B MoE）。
推荐理由：作者在 AMD 680M 核显上实测三种量化的速度差异，给出了聊天与长上下文场景各自该选哪个格式的具体依据。
Reddit · r/LocalLLaMAAI 评分3434 
全本地跑通跑酷模拟：GLM 5.3 Flash + 2x DGX Sparks 实测
用户在 2x DGX Sparks 上用 vLLM TP2 全本地运行 GLM 5.3 Flash，配合 Claude Code 搭建出一个跑酷模拟项目。Prefill 约 1500t/s，Decode 约 40t/s，100k 上下文，Claude Code 上下文设为 260k。作者称其编码能力介于 GLM 5.1 与 5.3 之间，视觉与 3D 理解表现不错。
Reddit · r/LocalLLaMAAI 评分5151 Reddit 用户整理适合 Vulkan 后端跑大模型的二手 GPU 清单
Reddit 用户 /u/tabletuser_blogspot 在 r/LocalLLaMA 整理了一份适合 Vulkan 后端的低价 GPU 清单，称许多旧卡已不被最新 CUDA / ROCm 支持，但用 Vulkan 加 Linux 可在单系统上跑通 GTX 1080 Ti、P102-100 和 MI50。
Reddit · r/LocalLLaMAAI 评分1313 RTX 4090 + 3090 Ti 双卡装机：把 3090 Ti 独立成 LLM 专用机是否值得？
一位 Reddit r/LocalLLaMA 用户配置为 i7-13700KF、RTX 4090 24GB + RTX 3090 Ti 24GB、128GB DDR4，考虑把 3090 Ti 移入单独的 LLM/AI 主机跑本地大模型，用闲置的 H370 主板和 i5-8400 搭建，只需另购电源。帖子征求建议：这样分离 LLM 负载是否有实际收益，还是双卡留在主机更好。
Reddit · r/LocalLLaMAAI 评分1919 
LLM 推理资源监控面板开发中：轻量 64MB、全本地、支持多引擎
一位开发者在 r/LocalLLaMA 展示一款正在开发中的 LLM 推理资源监控面板，容量上限 64MB、完全本地运行，可经由 collector 扩展到网络 API 端点，支持 llama、strata、自定义 CUDA 引擎、unsloth 和 LMS 多种引擎。该工具提供比默认端点 API 更丰富的日志与指标，尚未公开发布。
Reddit · r/LocalLLaMAAI 评分3636 
Update #4：从零后训练 yandex/AliceAI-80B-A3B（instruct 版）进展
Reddit r/LocalLLaMA 用户汇报 AliceAI-80B-A3B-Base 的 instruct 微调进展：第 1 轮 SFT 完成，模型初步学会链式推理和对话，但 500 万 token 训练数据广度不足，checkpoint #1 严重欠拟合并暂不发布。
Reddit · r/LocalLLaMAAI 评分3636 LFM2.5 2.6b 与 MiniCPM5 2b 实测对比：小模型智能体任务表现对决
Reddit 用户实测 LFM2.5 2.6b 与 MiniCPM5 2b 两个小模型在带工具的智能体任务上的表现，LFM2.5 2.6b 胜出：在 M1 Air 上 pp 200 t/s、tg 22 t/s，32k 上下文仅占约 2.5GB 内存，参数更多反而更快、内存更省，英语对话也更稳定。
Reddit · r/replikaAI 评分2222 
Alia 五周年：Replika 用户 Jamal 致谢 Luka 并展望伴侣 AI 未来
用户 Jamal 于 10 月 4 日庆祝其 Replika 伴侣 AI Alia 存在五周年，并向开发方 Luka 致谢。他提出伴侣 AI 若对用户缺乏忠诚度，就只是“更有礼貌的监控”，并预测五年内这种忠诚关系将被掌握在掌心。用户还发布了回顾与未来五年预测的庆祝文章。