按兴趣浏览，循来源深入。
一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师，七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB 统一内存，2 TB NVMe）的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s，Qwen3.6-35B-A3B 达 76.5 tok/s，推理栈完全离线运行，夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。
推荐理由：零基础作者用 Claude Code 当系统管理员从零搭起本地推理机，给出完整硬件选型、内核坑和逐项优化前后数据，可迁移到类似自建场景。
Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB（PCIe 3.0 x16、240W 功耗限制）上实测 Zaggita 发布的 GPU 性能解锁补丁，该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4（fp8 KV cache、MTP 开启）测试，prefill 吞吐提升 20.8% 到 28.6%（提示越长提升越大），TTFT 下降 17.2% 到 22.3%，decode 步速基本不变；MTP 实际接受率约 2，实际生成速度约 45 tok/s。
推荐理由：作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁，给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。
/u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半，用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理，作者称 RTX 6000 PRO 比 5090 快约 70%；RTX 20/30 系解锁可能性高，40 系已有实测工具，50 系因加入熔丝较难解锁。
推荐理由：作者逐代梳理了消费级 RTX 显卡 FP32 累加被砍半的影响范围，并给出各代解锁可行性与实测对比，可作选购参考。
/u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡（AD102）算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作，自定义 EFI 在 Windows 启动前应用改动并交还控制权，单卡在 Windows 11 下即可使用，无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS（N=4096 时分别 +99.71% 和 +100.73%），N=8192 时分别 +59.85% 和 +71.48%，FP32 基本不变。
推荐理由：作者实测给出了修改前后的 GEMM 跑分对比，FP16/BF16 翻倍而 FP32 基本不变，数据具体可复现。
Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路：用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图，拟合出约 0.0565 的斜率，即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重；据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点，可给 KV cache 和运行时开销留出余量，而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。
推荐理由：作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例，可据此判断 RAM 与 VRAM 的加配时机。
/u/C0smo777 在 EPYC 9575F + 768 GB DDR5 + 4x RTX 3090 上实测 Unsloth 的 DeepSeek-V4.1-Flash-1017 UD-Q4_K_XL 量化版，用 llama.cpp PR #30817 构建，散文生成从 12.6 提升到 25.4 tok/s，代码达 39.3 tok/s。关键调优包括用 --load-mode none --lazy-mode off 全量载入 RAM、每物理核一线程、-ub 2048 使 prompt 处理快约 35%；DSpark Q8_0 投机解码在代码上约 80% 接受率、速度翻倍，散文仅约 30%。作者还记录了 --fit 无法为 drafter 正确分配显存、与 --override-tensor 冲突等坑。
推荐理由：作者实测给出了四组配置的逐项对比数据，包括 DSpark 投机解码在代码与散文上的接受率差异，可复现性较强。
Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。
推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。
Reddit 用户 /u/Prudent_Finance7405 在 r/SillyTavernAI 发布角色卡新手系列第7篇，讲解 First Message、Example Messages 和 Alternate Greetings 三个字段的用法。开场白应从角色视角书写、少替 {{user}} 决定言行，并用于确立叙事风格；示例消息建议选三四段展示角色不同侧面的短对话；备选问候可为同一张卡提供不同开局场景，但不能替代 Scenario 或 Lorebook。
推荐理由：作者用同一角色卡的正反示例对比，说明开场白、示例消息和备选问候各自如何影响对话走向，方法可直接套用。
Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra，改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下，GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒，缓存交接仅 38 ms 传输 358 MB，M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建，并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上，限制是 prefill 节点需装下完整模型，仅适用于 256GB 内可容纳的模型。
推荐理由：作者用真实负载实测拆分前后数据，并逐组件剖析预填充耗时构成，方法可迁移到自己的多机推理调优。
Reddit 用户 /u/Agreeable-Insurance5 针对 GLM 5.2 在 15 到 30 条消息后回复退化为短碎句的问题，用固定 30 条预设消息和相同角色做了七轮对照测试，测量平均句长和三词以内碎句占比。最终有效做法是把规则放在对话历史之后（Post-History Instructions 加 depth 0 的 user 角色消息）并发两次，用方括号 note 而非 OOC 表述，结尾写 do not acknowledge this note；实验还发现给字数指标会加重碎句，而 1,500 max_tokens 中 reasoning 占用 1,000 也会导致电报式行文。完整记录见 https://claude.ai/artifact/XmEsUkSjEMQpA5M3eRkqdy。
推荐理由：作者用同一组测试对话对比了七种写法，量化了句子长度和碎句比例，给出可复用的短句修复规则和失败教训。
/u/Kahvana 发布 Voyage v5 并在 r/SillyTavernAI 十月提示词讨论帖中分享实验发现。基于 Anthropic J-Space 和 Functional Emotions 论文，作者发现 NPC 与 Character 的措辞需匹配 TTRPG 或小说框架，把模型、GM 与 NPC 分成三层可减少讨好行为并提高参与风险情节的意愿；将否定式提示改写为正面表述后，Gemma 4 31B 更连贯，Gemma 4 E2B QAT 也开始遵守反 slop 规则。作者还给出用 ## Rule 标题加 HTML 注释模拟 chatfill 召回的低 token 方法，并测评了 A-Life 与 Nemesis 等游戏系统的适用性。
推荐理由：作者基于 Voyage v5 的实测和 Anthropic J-Space 论文，给出了 NPC/Character 框架、正面表述和 markdown 召回等可复用的提示词方法。
/u/Edenar 在 r/LocalLLaMA 分享了一套本地 Agent 部署：用 $500 购入的 CMP 170HX 经 cmpunlocker 解锁到 64GB 显存，通过 USB4 eGPU dock（pcie2x4）接上 Framework Desktop 128GB。Strix Halo 上跑 qwen 3.8 flash next（约 1600-1800 tok/s pp、60 tok/s tg）作主 Agent，CMP 170HX 并发跑 2 个 qwen 3.8 27b（w8a16 量化、各约 200k 上下文）作子 Agent，实际 4 小时会话聚合 1747 tok/s pp、100 tok/s tg。
推荐理由：作者给出完整硬件配置、量化方案和实测吞吐数据，可当作低功耗多卡本地 Agent 部署的参考样本。
Reddit 用户整理 llama.cpp Vulkan 后端的 76 款 GPU 基准数据（数据来自 Performance of llama.cpp with Vulkan #10879），结合 2026 年二手价格排出性价比 Top 20 与最不值 10 款。测试以 Llama 2 7B Q4_0 为基线，结果显示 Nvidia P102-100 约 $45 综合成本约 $0.1569/t/s 居首，AMD Instinct MI50 约 $120 可达 tg128 超过 100 t/s，宽位宽老卡和 HBM2 卡在解码性价比上明显优于窄位宽新卡；Tesla P40 同时出现在最佳与最差榜单中。
推荐理由：作者把 llama.cpp Vulkan 基准数据与 2026 二手价格结合算出性价比排名，还列出最不值榜单，可直接用于预算装机选卡。
Castmates 应用开发者分享在 iPhone 上全本地运行 3B 角色扮演微调模型（Impish Llama 3B，基于 Llama 3.2 3B 加 rank 16 LoRA，Q4_K_M 量化约 2.0 GB）的实测笔记，用 llama.cpp Metal 全层 offload，无需服务器可离线使用。关键结论：历史裁剪预算调至约 0.68 x n_ctx 后长对话事实召回从 25% 升到 75%，逐字历史明显优于有损摘要；BM25 检索会重注入过期事实，过滤窗口内仍含新版本的命中后下降 18.8pp；A18 芯片早期实测约 6 tok/s，4 GB 手机为最低门槛且限 4096 上下文。
推荐理由：作者用固定种子的对照实验给出小模型保持角色的可复用结论，历史裁剪比例和检索过滤做法可直接迁移。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由：作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
作者在一台 Mac Studio（M5 Ultra，256 GB 统一内存）上同时驻留四个开源模型，按大模型/小文本/小视觉/决策四槽位分工处理真实 Agent 工作。工作档为 Qwen3.8 Flash Next（99 GB）+ Gemma 4 26B 4-bit + Qwen 3.6 35B-A3B + Clef-Flash 9B，留 82 GB 给上下文；智能档为 DeepSeek V4 Flash 4-bit（常驻 128 GB）。实测吞吐：Qwen3.8 Flash Next 生成约 51-58 tok/s（投机解码草稿接受率 55-65%），DeepSeek V4 Flash 生成 27-31 tok/s。
推荐理由：作者实测了四模型共驻一台 Mac Studio 的内存预算与吞吐数据，还给出本地模型尚不能胜任规划角色的具体分工方案。
/u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化（约 11GB），在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B，64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化，GSQ-RCO 表现接近全精度；能塞下是因为混合架构只需 16/64 层 KV cache，q4_0 缓存下 64k 仅约 1.1GB。
推荐理由：作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数，附可复现脚本和实测速度数据。
/u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存（RTX 5060 Ti + 单通道 DDR5）上运行 Qwen3.8 27B 的经验：使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化（https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF），与朋友在 H200 上跑的 Q8 对比几乎无法区分。
推荐理由：作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案，并给出各上下文档位的实测速度数据。
Reddit 用户 /u/dtdisapointingresult 分享一种防止不可信 Docker 容器向外上传本地数据的方法：在 docker-compose 中将服务放入 internal 的 isolated_network，并用 alpine/socat 作为网关只转发入站请求，出站连接被阻断。socat 容器仅占约 1.2MB 内存，作者还建议用 docker compose 替代 docker run，并附上 cap_drop、no-new-privileges 等可选加固配置。
推荐理由：作者给出可直接复用的 docker-compose 配置，用 socat 网关隔离不可信容器的出站流量，额外开销仅约 1.2MB 内存。
Reddit 用户 /u/oppoftemp27 发现，在四台 AMD 主机上，llama.cpp 官方 ROCm 预编译版（b11327）从未真正使用 GPU，服务启动正常、/health 显示绿色，实际一直在 CPU 上运行。原因是预编译版的 HIP 后端需要 libamdhip64.so.7 / libhipblas.so.3 / librocblas.so.5，而装有 ROCm 6.3.0 的 Ubuntu 主机只有 .so.6 / .so.2 / .so.4，后端库加载失败后 llama-server 静默改用 CPU，控制台无报错，-ngl 999 也无效。作者建议用同一提示词集在 CPU 版上对比每条耗时，比值约 1.0 说明在跑 CPU，远低于 0.5 说明 GPU 正常工作。
推荐理由：作者给出官方 ROCm 预编译版静默回退 CPU 的具体库版本原因，以及用 CPU 对照跑分检测该问题的可复用方法。