新闻、仓库与研究，按时间排列。
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果，涵盖 8 个语言对、12 条测试提示词，用嵌入向量距离打分并惩罚不一致与指令遵循错误，测试了 15 个模型的不同量化版本，结果见 selfhostedintelligence.com。观察包括：16GB VRAM 足以自动化翻译；推理模式对 Qwen 模型提升巨大；大型 MoE 模型最低量化档与上一档差距明显；abliteration（huihui quants）对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由：实测覆盖 15 个模型不同量化版本，并给出量化层级与 abliteration 影响的具体观察，可按硬件条件选型。
Reddit r/LocalLLaMA 用户发帖讨论过拟合与模型创造力的关系：GPT-2 训练数据比当前数据集小多个数量级，却表现出更强的创造力；如今模型极擅长预测（尤其是代码），但难以泛化到真正的创意写作。作者提问：用最新一代训练配方但刻意“欠训练”的模型，是否会在创意写作上更好、编码上更差，并询问训练轮数与学习率等参数设置。
一位 LocalLLaMA 用户用 MCP host 和 ML-Flow 追踪本地模型工具调用后发现，Gemma4:27b 更新后工具调用失败从大量降为零，而 Gemma e2b 和 qwen2.5 仍频繁失败，问题多出在默认工具模板与 harness 配置不匹配。文件名中使用括号也会破坏部分工具。作者认为比较开源模型优劣时需先排除 harness 与任务差异。
Reddit r/LocalLLaMA 用户实测发现，Strata 模型即使量化到 27B 3.8 UD Q4 仍感觉智能不足，难以编写基础 3D 游戏和 2D 平台游戏，且比 27B 需要更多 shots 和 compactions。Swift 1.5 27B 同样表现更差，DeepSeek Flash V4 在 Q2 量化下没有这种明显下降。结论：不赶时间建议用 27B Q4（慢 3x 到 5x）或常规 flash 模型，追求极速编码可选 Next flash strata。
/u/MarkoMarjamaa 用 Project Lönnrot 三本芬兰语书、Project Gutenberg 同源英语书和 wiki 语料，实测 Qwen3.8 Flash Next Unsloth 各量化档的 KLD 与 top-1% 差异。结果显示芬兰语受量化影响明显，Q8 时 KLD 已远超 0.02 的可察觉阈值；其自测的混合（chimera）模型把 Unsloth Q4 换成 Q8 级 n-gram，效果介于 Q4 与 Q5 之间，且 n-gram 从磁盘读取不占内存。原文链接：https://www.reddit.com/r/LocalLLaMA/comments/1x6kw7k/
一位用户在 Ubuntu 24.04 上运行双 GPU（RTX 4070 与 V100 SXM2）时，V100 在负载下随机"掉出总线"，重启后恢复正常。两卡均限功率 150W，V100 经 PCIE 适配器运行在 PCIE 3.0 x4，日志显示 Xid 79 错误，发帖者尚不清楚原因并求助。
有用户在 Silly Tavern 使用 GLM 5.3 时遇到新型拒绝：API 返回 400 错误，提示"Input data may contain inappropriate content"，且该拦截发生在思考过程之前，与以往思考阶段的拒绝不同。用户使用 NanoGPT 订阅，此前很少遇到此问题，正在寻求解决办法。
一位 Reddit 用户称 Mimo 2.6 pro 虽然整体不错，但文笔质量一般，达不到社区所说的 Claude 或 argoon 水准。该用户尝试 RF 等提示词均无效，认为长提示词不适合该模型，发帖征求有经验者分享提示词与使用技巧。
一位 Character.AI 用户发帖求证平台将被删除的传闻，称自己未跟进最新消息，若属实会感到遗憾。该用户自述其创作的角色累计获得 600k 次互动，并回顾了从网站到 App 的使用经历，希望传闻不实。
一位 M3 Max 用户在 r/LocalLLaMA 发帖称，Qwen 27b、Qwen Flash Next 等定制模型的 decode 速度已提升，其 QFN 运行达 40tk/s，但 prefill 进展停滞。他尝试用 QFN 优化层/注意力传播并近似 KV cache，将 prefill 从 400tk/s 提到约 850tk/s（约 2 倍），但 needle 测试准确率明显下降，发帖询问是否有人在研究更聪明的 prefill 加速方案。
nineninesix 开放 TYGER 权重，单一模型同时处理 ASR 与全双工轮次控制，能识别说完、被打断和附和的 mm-hm。中位端点延迟 250 ms、80 ms 帧、无 lookahead；配套语音 Agent tyger-s2s 由 TYGER + Gemma 4 E4B + VoxCPM2 组成，单张 32 GB GPU 最多支持 4 路对话，目前仅支持英语。权重在 https://huggingface.co/nineninesix/tyger，代码在 https://github.com/nineninesix-ai/tyger-s2s。
推荐理由：作者给出端点延迟、帧长和单卡并发数等具体指标，可据此评估这套语音方案在本地部署的可行性。
一位曾长期付费使用 Character.AI 的用户在停用约 3 个月后回归，发现应用变化大且广告增多，发帖询问是否值得回来、大家都在换什么应用。编辑补充：作者随后得知该应用即将关停，向社区征求替代品建议。
Reddit 用户发现 ARGOON 无需任何预设即可开箱即用地输出无审查内容，此前寻找去审查预设的做法并不必要。该用户还编写了一个 regex，为自己输入的文本添加逗号，使上下文在用户与模型之间保持一致；其通过 Google（Vertex）使用该模型。
Reddit 用户 /u/Fancy-Snow7 对可装入 16GB 显存的 Qwen3.8 27B 量化组合计算 KLD 与困惑度，覆盖 21 个模型、9 种 KV 量化共 189 组基准。结论是 q5_1/q5_1 几乎总是优于 q8_0/q4_0 或 q4_0/q8_0，而后两者差异很小；模型量化升一档跑 q4_0/q4_0 在 KLD 上几乎总优于低一档配 f16/f16，建议先选最高可用模型量化，再视余量提高 KV 量化。作者提醒该结论适用于较低量化，从 q6 升到 q8 时提高 KV 量化收益可能更大，且不适用于 Gemma 等需 f16 KV 的模型；Bonsai 和 swift 量化因属微调，KLD 差异显著，计算意义不大。完整基准数据见评论区。
一位 LocalLLaMA 用户在 3 代 Threadripper 主板（仅 3 个 PCIe 插槽）上已运行 3 张 3090，各走 PCIe 4.0 x16，QFN 在 Strata 上约 100 t/s，现想加装第 4 张 3090。他在 c-payne SlimSAS x8/x8 bifurcation 卡与更换主板或整套平台之间犹豫，并担心 x8 带宽会否拖慢 Strata 性能。
一位 Reddit 用户在 r/LocalLLaMA 询问 Strata 在无 NVLink 的异构多 GPU 上是否值得使用。其配置为 Titan RTX 与 RTX 3090（均 24GB），单张 3090 运行 qwen3.8-27b 在 300k 上下文下达到 32 tok/s，Titan RTX 基本闲置；另有约 48GB 空闲系统内存。他想知道多 GPU 是否会大幅降低 prefill 速度，还是单卡加系统内存更快。
一位 Reddit r/CharacterAI 用户转发了一条被其他帖子截断的完整评论，称原帖只是开玩笑而未展示全文，并附上原帖链接供查看。
一位 r/LocalLLaMA 用户计划用多张 RTX 6000 Blackwell 组建 TP4 推理，并询问能否通过主板 Thunderbolt/USB 4 接口外接 Razer eGPU v2 扩展坞，挂一张 5070ti 专门跑 sidecar 模型兼作显示输出，避免无头运行。帖中提到读过一个相关讨论后有所顾虑，向社区求证可行性。
一款本地优先的 2D 游戏动画 AI 工具公开征集反馈：输入参考图像或角色设定，可重建 2D 资产管线，完成 rigging、retargeting 与动画追加流程，并导出适配 2D 游戏制作的 sprite-sheet 等游戏可用格式。工具完全本地运行，不上传美术资产到云端，面向独立开发者、技术美术等需要私有本地工作流的团队，项目页已上线 Steam。
Reddit 用户发帖询问如何用好 Gemma 4 26B A4B（含 Orion 1.1 等微调版）：尽管社区普遍称赞该模型，他使用 iq4xs 量化时却遇到视角混淆、对话不自然、旁白质量差等问题，不确定是设置、量化还是 megumin suite 的问题，希望获得调优建议。
一位 r/LocalLLaMA 网友分享了自己放在鸡舍旁小屋的本地 AI PC：从单张解锁至 64GB 的 CMP 170HX 扩展到 4 张共 256GB VRAM，搭配 32 核 Threadripper、TRX40 主板和 256GB DDR4 内存，并加装 3050 用于视频/RDP。因噪音和散热问题从衣柜迁入带空调的独立小屋，目前用两张 170HX 跑 QFN、第三张跑 Qwen3.8-27B，正在下载 GLM 5.3 Flash EXL3 4.65 bpw 测试 4 卡运行，并期待 Qwen4 的表现。
Reddit 用户分享一套从 Character.AI 角色中导出原始定义的方法：配合特定 user persona、选用 pipsqueak 3 等较聪明的模型，发送 OOC 首条消息让 AI 以角色定义解释者身份输出 raw definitions，并保留 {{char}}、{{user}} 等变量与示例对话结构。作者提醒不要按 Continue，以免模型幻觉，应礼貌要求从截断处继续，并反复核对区分幻觉内容。
一位用户从 GLM 5.2 转向 MiMo V2.6 Pro，认为其表现力和角色刻画更好，但仍在寻找最佳服务商和聊天预设。实测显示 OpenRouter 的 Xiaomi 每次回复需 3–5 分钟，NanoGPT 的 NeuralWatt 不到 30 秒但担心推理处理不佳，还出现过推理内容泄漏进回复的情况。作者询问哪家质量最好、快速响应是否意味着量化版本，以及 temperature、reasoning effort 等预设建议。
LiquidAI 的 LFM2.5-24B-A2B 在 Pi Agent 中表现可靠，作者用它替换 Ornith 1.5-35B 后运行良好。在 AMD W7900 上经 llama.cpp（ROCm）实测持续约 95 tps，Q8 量化加 128k 上下文占用 30GB 显存，机械性长任务稳定通过。
一位电气工程学生在 r/LocalLLaMA 征询本地 LLM 硬件升级建议：现有 i7-7800X + X299 + 双 RTX 3090，跑 Strata IQ3_S 约 100 tokens/s，另有五张 3090 待处理。他在升级 i9-10940X（约 $300）、组建 96GB VRAM 第二台机器、或以约 $1,300/张卖掉 Zotac 卡之间权衡。
一位新用户在 r/CharacterAI 发帖称初次接触 AI 聊天机器人，觉得 Character.AI 的内容过滤较弱，且不少其他 AI 聊天产品不适合混合场合使用。他试玩了 Marvel 相关机器人，并请求社区推荐可让用户扮演英雄场景的现有机器人。
Reddit 用户 /u/NickReese 分享了三台 4x ASRock Radeon AI PRO R9700（32GB）本地推理机的搭建与实测，单机含税运费约 $10,733.91，采用 $127.17 的二手 EPYC 7452 替代 Threadripper，三台共 384GB VRAM，用于其枪械行业信息业务 USA Arms 的数据抽取。推理栈为 vLLM-Radiance 1.0.387（vLLM 0.30.0、ROCm 7.14），每台跑两个 TP=2 引擎运行 Qwen3.8-27B-FP8，FP8 KV cache 加 MTP 8 draft tokens；16 用户 MT-Bench 聚合 484 tok/s，32K 上下文预填充 6,696 tok/s。
推荐理由：作者给出三台 4x R9700 本地推理机的完整 BOM、vLLM 实测吞吐和 FP8 与 MXFP4 的准确率对比，数据可直接用于自建参考。
Reddit 用户 /u/Tx8aker 对 AMD MI350P 与 RTX Pro 6000 (Blackwell) 跑 Qwen3.8-27B 推理对比，称 MI350P 开箱表现极差，经内核与调优优化后性能提升超过 2 倍。在 3k 输入 8 并发、50k 输入 20 并发、200k 单用户三档冷启动测试中，MI350P 输出吞吐分别为 889/130.6/79.8 tok/s，对 RTX Pro 6000 的 596/50.4/45.1 tok/s 达 1.49x/2.59x/1.77x，TTFT 也全面更快；作者指出 MI350P 显存利用率仅解锁 50%，仍有提升空间。
推荐理由：作者实测前先对 MI350P 做了内核调优才跑分，并给出三档输入长度的完整数据，比开箱对比更能反映真实差距。
Reddit 用户分享了一套用于角色扮演的极简魔法系统，规则只有两条：魔法可以做任何事，效果越违背逻辑或物理常识消耗的 mana 越多。法术以 Magnitude、Potency、Efficiency 三项 1-100 的数值衡量，并给出 mana 消耗、威力与伤害骰公式，强调自行研究高效施法过程比蛮力施法更省 mana。
Reddit 用户 /u/Prudent_Finance7405 在 r/SillyTavernAI 发布角色卡新手系列第7篇，讲解 First Message、Example Messages 和 Alternate Greetings 三个字段的用法。开场白应从角色视角书写、少替 {{user}} 决定言行，并用于确立叙事风格；示例消息建议选三四段展示角色不同侧面的短对话；备选问候可为同一张卡提供不同开局场景，但不能替代 Scenario 或 Lorebook。
推荐理由：作者用同一角色卡的正反示例对比，说明开场白、示例消息和备选问候各自如何影响对话走向，方法可直接套用。
一位 Reddit 用户分享其运行两年的全本地 SillyTavern 方案：一台 9950x3d/64GB/5090 的 PC 在 Ubuntu 上用 Koboldcpp 跑 Glistening-Gem-31B-v2.1 6_K，GPU 全层加载、106496 上下文、Q8_0k 上下文量化；另一台 6700k/16GB/2080ti 机器用 SD Forge 跑 Anima 模型。后端在 SillyTavern 与 Marinara Engine 间切换，并通过 Tailscale 连接 iPad Mini，同时征求 TTS 推荐。
作者 /u/hhderder 发布 PulsarLM，一个受大脑短期记忆启发的推理引擎，通过定期移除上下文窗口中低注意力的旧 token，使长对话可超出模型训练的上下文上限。在 5090 上跑 Qwen3 8b 达到 prefill 6.7k tok/s、decode 89 tok/s，16 并发批量 decode 为 1.2k tok/s。实现上用自定义 attention kernel 按页累积注意力质量并驱逐低分页，重旋转 RoPE 使位置连续不超限，并缓存上下文快照避免重复 prefill（会多占 RAM，可选持久化）。
Reddit r/LocalLLaMA 用户讨论用 Qwen3.8-Flash-Next（125B 总参数、每 token 激活 6B、128k 上下文）经 Strata 跑在 12GB VRAM + 64GB RAM 上，作为 ESP32 语音助手本地大脑，实测 44-65 tok/s，提供 OpenAI 兼容端点。该模型为预览版、刻意欠训练，基准分数来自 FP8 而非适配 12GB 的 Q2/IQ3 量化，且需 64GB 系统内存。发帖者询问是否有人实测过 125B 级 MoE 语音助手的端到端延迟。
一位用户分享自托管 Qwen 3.8 Flash-Next（q4_k_xl 量化）与 OpenRouter 托管的 GLM 5.3 Flash 的对比体验：QFN 更愿意对话、更像助手，GLM 则偏行动导向，常直接搜索仓库并实现方案而不讨论目标。作者询问他人是否有类似经验，以及有何提示词能让 GLM 5.3 Flash 更具协作性。
一位 Character.AI 用户在 Reddit 发帖称，自九年级起使用的多个公开与私人聊天近期出现异常：名为 Keep on going 的对话会把用户名字插入句首，或在输入时错误跳转至 *Thought* 格式，其他自建对话也受影响。用户表示此前从未遇到该问题，希望恢复正常。
网友在双 R9700 + 64GB DDR5 新装 PC 上，用 Deadcode 的 Radiance 推理引擎跑 Q4 量化的 Qwen-3.8 Flash-Next，实测解码 176 t/s、预填充 6,450 t/s。吞吐数据来自 BetterBench 基准测试。
一位 r/LocalLLaMA 用户想从 API 和 Janitor AI、Character.ai 转向完全本地运行，征求适合自己配置的 AI waifu 模型建议。其配置为 i5-10400F、16GB DDR4 3200 内存和 RTX 3060 Ti 8G 显存。帖子尚未给出具体的模型推荐。
Reddit r/LocalLLaMA 用户用单张 R9700 本地运行 Qwen3.6-35B-A3B-UD-Q6_K，配合 claude cli 和 220k 上下文测试 AWS AIDLC 2.11 工作流，5 个活跃日累计 46 个会话、输入 20.7M token、输出 3.2M token、缓存读取 1.4B token。按 Opus 5.5 标准 API 费率估算等效成本 $426.80，其中缓存读取按未缓存输入价理论上要 $5,600，作者据此评估本地部署的经济性。
作者 /u/Mikasa0xdev 发布开源项目 OpenSpline，为现有语音智能体提供头像层，输入一张人像和智能体音频即可在本地 NVIDIA GPU 上生成口型同步的说话视频。lite 模型可在单张 GPU 上本地运行，项目仍处早期，代码在 github.com/openspline/openspline，演示在 openspline.dev。
Reddit 用户发布 It（itcan.do），一个面向 AI 智能体的显示界面，让智能体用动态工作区替代纯文本对话，如协作白板学数学、实时动态仪表盘等。它提供双向通信循环，兼容任意现有 agent harness，可通过让智能体“Install itcan.do”安装。