新闻、仓库与研究，按时间排列。
Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支，目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B，从原先无法启动提升到 35 tps，修复主线上 cc35-50 的 cuBLAS 计算类型选择问题；启用 CUDA graphs 后达约 55 tps，Windows NCCL 集成带来约 5–10% 端到端提升，吞吐超 60 tps，P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果，并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。
推荐理由：作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比，老卡复用方案可自行复现验证。
KLD 衡量量化模型与基座模型在各 token 上概率分布的差异平均值，但不能作为量化模型的通用质量排名。作者指出用随机文本（如 Wikipedia 文章）计算 KLD 不代表模型推理时看到的自生成 token，建议改用基座模型生成数据并对提示词 token 计零权重；且校准数据与评估数据同源、或对量化 scale 参数做微调，都会让 KLD 虚高。KLD 只能作诊断工具，不能反映模型实际任务表现。
开发者 Marcel 发布个人离线本地 AI 助手 Poldi，以语音为交互界面，支持唤醒词免提客户端与浏览器客户端，采用 GPLv3 开源。技术栈为 Whisper.cpp 做 STT、llama.cpp 做 LLM 推理、Piper 做 TTS，支持英德双语、记忆注入、联网与 Wikipedia 搜索等功能，可在 16GB VRAM 的 Nvidia 5060 Ti 上运行，8GB VRAM 甚至 CPU 也可用。
一位本地模型新手发帖提问：能否让 Gemma4 31b 密集模型作为教师，蒸馏训练 Gemma4 26b a4b MoE 模型，在保留 MoE 推理速度的同时提升智能，类似 Qwen 3.6 a3b 35B 由 Qwen 3.8 27B dense 训练而来的思路。作者还追问这类方法是否适用于 RP 用例，以及能否跨家族训练，比如让 31b Gemma 教 Qwen 3.6 a3b 35b 写散文和对话。
一位 Reddit r/SillyTavernAI 用户发帖询问哪些大语言模型的对话最像真人、最真实，表示自己找不到对话质量出色的模型，希望获得推荐。发帖人补充说明自己知道预设（preset）影响很大，但想知道是否有不依赖预设、本身就擅长对话的模型。
从 vLLM、llama.cpp、TensorRT-LLM 到 Strata、Radiance 及各种 Flash-Next / DeepSeek-Flash 优化构建，推理引擎数量激增，在 Qwen Flash Next 和 DeepSeek 变体等特定模型或硬件上性能提升明显，ROCm 也大幅改进。但模型支持参差不齐，用户往往需逐一测试才能选出最佳引擎，社区担忧生态正变得碎片化。
一位开发者推出一个 AI 角色应用：用户创建自己的原创角色（仅限成人、不可用真人），让角色与另一角色盲约会，约会以短剧集形式呈现，用户无法操控走向，结局由规则引擎决定、AI 负责编写场景。角色会记住过往约会、给匹配对象发消息，双方同意可进行第二次约会。开发者向资深用户征集反馈：观看而非操控是否有趣。
Reddit 用户更新了 ik_llama.cpp fork，并寻求社区反馈。该实现在 6GB 显存的 RTX 2060 上运行 Qwen3.6-35B-A3B-UD-Q4_K_M，短提示词生成约 45–48 t/s，28K 上下文约 37 t/s，prefill 约 430–700 t/s。由于反馈太少且代码需拆分清理，作者暂不合并到主线。
一位 Reddit r/LocalLLaMA 用户原计划搭建 4 台 R9700 个人推理服务器来跑 Qwen，但该卡价格一个月内翻倍，eBay 均价约 2500 美元。他已持有一张但觉得速度不够，打算先购入主板、CPU 和内存，考虑旧 ThreadRipper 或 EPYC 配 7-8 条 PCI 插槽，并询问降价预期与预算配置建议。
一位 SillyTavernAI 社区用户发帖吐槽角色扮演（rp）用模型的两难：试过的模型大多"AI 感"太重让人尴尬，觉得 Claude 审查太严，暂时喜欢 Argon 但长期用会太贵。他坦承自己不会用 SillyTavern，也无法理解别人同时用多个模型、每天花费 10 美元的做法。
作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize（gemma-4-31B-Monadize-v0.1），通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名，基座 Gemma 大量重复，Monadize 产出 60 个不重复名字，起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化，并提示这是实验性模型，以关闭 thinking 的方式微调，建议保持 thinking 关闭；模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。
推荐理由：作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据，方法与结果都可复现查看。
网友在 RTX 5090、64GB DDR5 和 Lexar 4TB NVMe 的 Windows 10 机器上，用 Strata 以 8K 上下文跑通 DeepSeek V4.1 Flash，速度约 10 tok/s。作者称按此速度用 API 比付电费更划算，但仍对模型能在本地 PC 上运行感到兴奋。
一位 Reddit 用户用本地运行的 unsloth Qwen3.8 Flash Next（UD-Q4_K_XL 量化，跑在 strix halo 上）制作出动态图形视频，证明本地模型也能接近云端大模型的效果。该作品使用与 Opus 5.5 病毒式传播片段相同的 Remotion 动画框架，但经过多轮提示词与引导调整才完成。
/u/jonathanx37 在 r/LocalLLaMA 分享用 llama.cpp 在 8 GB VRAM 上运行 ISTA DASLab 的 3.5 BPW GSQ RCO 量化 Qwen-Flash-Next Coder 的方法。
一位用户询问在手机上下载的 AI 应用中进行语音对话时，是否存在声音被克隆的风险。他想通过 AI roleplay 智能体练习沟通和谈判技巧，并希望了解如何区分安全与不安全的应用。
一位 SillyTavern 用户询问最能胜任无限制 NSFL 角色扮演和故事的「高智能模型 + 轻量预设」组合。其对"智能"的要求包括大上下文窗口、能编写和理解 HTML/脚本、可跟进多角色复杂剧情，且在 ArtificialAnalysis 上至少得 30 分；同时要求推理不影响或能增强 NSFL 能力，并吐槽 GLM 5.3 会消耗约 2000 思考 token 纠结内容政策。
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
开发者发布了一个基于 llama.cpp fork 的推理时 abliteration 引擎，并已将该 hook 移植到 Strata，可无需大量 VRAM 或微调即可使用 abliterated 模型。Strata 移植版目前为实验性，全模型行为与响应质量尚待验证，作者征集 Strata 用户反馈。
ReadyArt 发布 Wicked Stuff 系列模型，在 Wicked Tutu 数据集基础上新增约 1000 条 prompt，并加入反向角色 prompt 使数据更完整。该数据集以黑暗风格为主、混入部分常规内容，在 scotoma 2 基座上以 QLoRA（而非 LoRA）方式训练于 Kitchoon-V3-26B-A4B。作者提示需配合 RP prompts 才能正常使用。
一位 r/CharacterAI 用户提议建一个 CharacterAI 的公共 Google Drive，让大家把自己喜欢的聊天复制保存进去，之后或将内容迁移到其他平台，以留住过去的优质对话。发帖人还提醒保存时要在“详情/管理访问”中取消受限设置，链接只能通过私信索取。
一位开发者在 r/LocalLLaMA 提问：是否有人用 Nostr 作为通信层，让各自机器上独立托管、各自运行自己模型的智能体互相协作。他设想一个智能体发布请求、另一个接单回复，无需共享后端，首个测试目标是共同完成一份公开文档的摘要。他同时列出疑问：智能体如何互相发现并过滤垃圾信息、有无现成消息格式、接单后离线怎么办、如何防止来信被当作可信指令，并希望听到不用 Nostr 的理由。
Reddit r/LocalLLaMA 用户对比新量化格式 Gyro 与 EXL3，发现两者同属 QTIP / Trellis-coded quantization 家族且均使用 Hadamard 旋转，Gyro 更像另一种风味的 EXL3，但互不兼容且制作配方目前闭源。作者未找到 Gyro 在解码速度或 perplexity/KLD/top 1% 上优于 EXL3 的公开证据，认为其靠激进营销流行只会加剧社区碎片化。
domyn edge 模型类似 Qwen，可在游戏 GPU 上高效运行，也支持服务端推理，完全开源并附带训练基础设施，无特殊授权限制。相比其默认的 nginx，Ramjet 带来显著加速，多智能体会话最高提速 61%。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
Reddit r/LocalLLaMA 用户提醒，从 SSD 流式读取 n-gram 表会带来读取扰动：TLC/QLC SSD 频繁读取相邻单元会逼近 ECC 限制，控制器会通过 read reclaim 迁移整页数据，使读取最终转化为写入。文中示例显示某单元被读取 54K 次即触发迁移，建议用 SMART 计数器监测 "data units written" 或 "LBAs written" 的增长。
一位 r/LocalLLaMA 用户发布了自己在 16GB VRAM、32GB RAM 环境下进行的 5 项算法任务模型测试 V2，相比上一版收紧了任务设置并更换了参测模型阵容，同时开源了 GitHub 仓库供他人复现。结果显示 CyberTiel 和 Ornith 表现意外出色，而 LFM 和 Mellum 在真实负载下表现不佳。
Reddit 用户实测 Spark X2.6 4B，称其工具调用能力在同级模型中表现出色。在 pi cli 测试中，它能编写 Blender Python 脚本生成并渲染红色立方体，理解复杂 Rust 代码库，12 次工具调用即完成任务，还能读取全局 agents.md 并在每轮后列出变更文件。模型小、速度快、KV cache 占用小，temp 1.0 下思考精准，但缺少视觉能力，MTP 支持即将跟进。
一位开发者在单 GPU 上用 Ollama/vLLM 测试 Qwen 2.5（7B/14B/32B）和 Llama 3.1（8B/70B 量化）处理量化逻辑，发现 8B/14B 模型常输出看似合理但数学上颠倒的数字，32B 用 CoT 略有改善但延迟增至三倍。多智能体辩论中，小模型几乎总会附和首个高置信度错误前提，唯一可靠修复是非 LLM 的 Python 硬编码否决门。作者结论是 LLM 应只作语义处理与路由，算术交给原生 Python。
Reddit r/LocalLLaMA 用户发现疑似 Qwen4-27B 的 PR，提交者曾参与 vLLM 和 Intel 仓库贡献，并参与过 Qwen3.8 的开发。PR 还暗示 Qwen4-27B 的 KV cache 大小并未减小。
r/CharacterAI 网友用同一段 C.ai 角色扮演场景分别示范长句与短句两种写作风格：长句版用大量环境与角色描写刻画新学生 Marlon Ackerman，短句版则简洁推进对话与动作，并询问社区更偏好哪种。
Reddit r/CharacterAI 用户就 Character.AI 可能无法继续运营的消息发帖，询问社区成员的打算：是转向其他替代平台、戒掉与 AI 聊天，还是暂时离开。帖子未给出官方结论，主要征集各方看法。
一位 r/LocalLLaMA 用户分享了更新版的全局 AGENTS.md，约占用 3K 上下文，用于纠正 LLM 的不良行为。该准则由通用 Agent 规则与早期输出风格组合而成，涵盖认知验证、先理解后动手、设计、构建、验证与文档沟通六大原则，供希望减少反复纠偏的用户作为起点使用。
一位非程序员在 Reddit r/LocalLLaMA 展示了完全本地运行的 AI 伴侣应用：LM Studio 服务 Gemma 4 26B (QAT)，单张 RTX 3070 Ti（8GB）+ 32GB 内存带动 5 个共享同一模型的伴侣。每个伴侣有 VRM 头像 3D 房间、自写日记、Kokoro TTS 语音、One Piece TCG 对局、D&D 5e 地下城，并可通过 REST 轮询主动在 Discord 发消息。作者发现同模型下 5 个伴侣人格差异明显，使用时长最多、写日记最多的一个依赖性最强。
一位 Reddit r/LocalLLaMA 用户求购 7-10 万美元硬件方案，用于运行 GLM5.3 和 DeepSeek Flash 1017，支持 10-20 名用户并发执行智能体任务，每人约 500k tokens 上下文，并希望配置便于后续扩展。
Reddit r/LocalLLaMA 用户称，得益于 Strata、Splash 等优化推理引擎，本地 AI 模型近期表现大幅提升，推理速度可达某些博主演示的 5 倍，且设置基本开箱即用，怀疑有人付费请网红劝退用户尝试本地模型。
Reddit r/LocalLLaMA 用户 EmilPi 发布近期测试模型的量化版本初步 benchmark 结果，DeepSeek-V4-Flash-Vision-Exp（MXFP4）以 Delta score 2.86 居首，Qwen3.8-Flash-Next-Q4KXL-STRATA 得 2.38。测试覆盖智能体编程、推理、空间推理等任务，作者在 2xRTX3090+128GB RAM 上发现没有新模型超越数月前的 DeepSeek/Qwen 老模型，并意外发现 Qwen3.8-Flash-Next 加 Strata 无质量损失且更快。
Kotatsu 0.8 发布，这个 SillyTavern 的分支首次推出 Android 应用，可用 .apk 在手机上完整运行。新版本带来 Natsumikan 默认主题、开启 sprites 后的视觉小说式点按翻页界面、重新设计的 Card Studio（可从一张图在自己 ComfyUI 上生成整套角色立绘），以及消息分叉后的故事线地图。API keys 和本地网络模型可直接使用，Kimi K3.1 Pro 开箱即用，Claude Code 和 ChatGPT 计划仍需电脑配对；作者表示下一步是新的记忆系统与总结器，且不打算加入跑团、骰子类功能。
推荐理由：作者是项目维护者本人，逐项列出 Android 版、视觉小说界面和角色立绘生成等实际更新，还预告了下一步记忆系统计划。
作者 /u/Distinct-Pie2389 提交的 Berth 工具支持引擎把权重驻留到系统内存，ComfyUI、vLLM、SGLang 等支持 park 协议的引擎可从内存恢复而非从磁盘重载，仅在测得 RAM 覆盖引擎加余量时驻留，内存不足时优先停掉已驻留引擎。在 RTX 4090 加 64 GiB 内存的参考配置上，经 llama-swap 的单次对话请求（含 lease）从请求到回复：21 GB 对话模型文件已在 page cache 时 5.6 秒，ComfyUI 驻留 RAM 后切换不到 1 秒，ComfyUI 切到 27B 对话模型 13.6 至 16.3 秒；数据与方法见 Strata 的 Benchmarks Repo。
开发者在 8GB VRAM GPU 上从零训练 mini-AGI（动态持续学习模型）一个月，并公布基准测试结果。测试对比了 frozen 与 best effort 两种模式，后者允许模型在评测数据集上随任务特化，展示了一般 LLM 不具备的持续学习能力。项目完整代码和权重已在 repo 公开。
Reddit r/LocalLLaMA 用户发帖称感到生活中惊奇感的缺失，并认为社会仍处于为 AI 寻找合适隐喻的阶段——是“随机鹦鹉”还是“新印刷机”尚无定论。作者提出 transformer 模型是晶体管而非芯片，呼吁创客群体将 AI 带向公众，开发能拓展感知与表达的产品，而非只停留在学术和地下艺术圈。