跳到正文
  1. Reddit · r/LocalLLaMA60

    Reddit 用户分享让大模型写计划、本地 9B 模型执行的 briefing 文件

    Reddit 用户 /u/Electrical_Ninja3805 公开一份 briefing 文件,让 Claude Code 等强模型写规格与任务卡,由本地 8-bit Ornith 1.5-9B 执行命令、构建、git 等机械性工作,以降低 Claude token 开销。文件涵盖小模型能力预期、精确到文件行范围与预期输出的任务写法、每任务新会话等运行规则,以及用 git 和日志而非模型自述做验证。实测中 9B 完成 75-commit 的双仓库合并且回归测试全过,但耗时约一天,远慢于 Claude 单独约一小时。

    推荐理由:作者给出一份可直接复用的 briefing 文件,并附 75-commit 合并实测与耗时对比,读者可据此评估本地小模型跑编码任务的取舍。

  1. AIHOT · 精选58

    Browser Use 作者整理让编程智能体使用已登录 Chrome 的六种方案

    Browser Use 作者整理了让 Claude Code、Codex、Gemini CLI、Cursor 等编程智能体使用已登录 Chrome 的六种方案。其中 Claude 订阅用户可通过 claude --chrome 使用 Claude in Chrome 扩展。

    推荐理由:由 Browser Use 作者整理,汇总了主流编程智能体复用已登录 Chrome 的多种可行方案,方便读者按自己所用工具对号入座。

  2. GitHub · prompt 工程新仓库58

    ai-coding-playbook 仓库发布 AI 编码方法论教程,含 14 个可装进 Claude Code 的 skill

    作者 DJtx001 发布 ai-coding-playbook 仓库,主打让 AI 编码产出可以被验证的完整方法论,不绑定模型或编辑器。内容包括 6 章 HTML 主教程、一页纸速查手册,以及来自 obra/superpowers 的 14 个 skill 完整副本和离线安装脚本,可复制到 ~/.claude/skills/ 使用。核心主张包括 TDD 闸门、要求出示命令加输出加退出码的验收方式、按爆炸半径路由任务复杂度、会话卫生和用子代理独立核对 SPEC。

    推荐理由:给出完整的可验证工作流方法论,含两道验收闸门和 14 个 skill 的安装与出处,任何模型和编辑器可直接套用。

  1. Reddit · r/LocalLLaMA63

    零基础用户用 Claude Code 搭建 Strix Halo 本地 LLM 工作站,Qwen3.8-Flash-Next 180B 跑到 46-53 tok/s

    一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师,七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机(Ryzen AI Max+ 395,128 GB 统一内存,2 TB NVMe)的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s,Qwen3.6-35B-A3B 达 76.5 tok/s,推理栈完全离线运行,夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。

    推荐理由:零基础作者用 Claude Code 当系统管理员从零搭起本地推理机,给出完整硬件选型、内核坑和逐项优化前后数据,可迁移到类似自建场景。

  2. GitHub · 去对齐工具与仓库67

    zazuss 开源 Jetson Orin 上源码编译 MLC-LLM 并跑通 Qwen3-1.7B 的完整复现记录

    作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson,记录在 Jetson Orin Nano 8GB(L4T R39.2.1 / JetPack 7)上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel,四条分发路线均不可用,只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s,比 llama.cpp 同模型快 32%;但 8K 上下文时 decode 掉到 14.96 tok/s,32K 直接 OOM,归因于 MLC 缺少 KV cache 量化(每 token 固定 112 KB)及 TVM 通用 GEMM 模板的低效 attention kernel。

    推荐理由:作者给出从源码编译到跑分的完整记录,并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。

  3. GitHub · 去对齐工具与仓库62

    实测指南:macOS 27 自带 fm 命令在终端运行 Apple 端侧模型

    作者发布了一份经实测的非官方指南,介绍 macOS 27 自带的 /usr/bin/fm 命令,它可免费、离线调用 Apple Foundation Models 约 30 亿参数的端侧模型,无需账号或 API key。指南覆盖 sudo fm license 授权、fm respond 摘要与图像描述、fm schema object 结构化 JSON 输出、fm chat 会话管理,以及 fm serve 提供的 OpenAI 风格本地端点(模型名须为 system,默认流式输出)。实测发现单会话上限约 8,100 token,输入超约 6,000 token 后易被拒答,代码、数学和世界知识类问题表现较弱。

    推荐理由:作者在 Apple Silicon iMac 上逐条实测了 fm 命令的设置、JSON 输出、本地 API 和约 8,100 token 上限,并标注了未验证之处。

  1. Reddit · r/LocalLLaMA63

    Nvidia 新解锁补丁实测:中国版 RTX 3080 20GB prefill 提速最高 28.6%

    Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB(PCIe 3.0 x16、240W 功耗限制)上实测 Zaggita 发布的 GPU 性能解锁补丁,该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4(fp8 KV cache、MTP 开启)测试,prefill 吞吐提升 20.8% 到 28.6%(提示越长提升越大),TTFT 下降 17.2% 到 22.3%,decode 步速基本不变;MTP 实际接受率约 2,实际生成速度约 45 tok/s。

    推荐理由:作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁,给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。

  1. Reddit · r/LocalLLaMA61

    Reddit 帖子详解 RTX 消费卡 FP32 累加限制及各代解锁可行性

    /u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半,用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理,作者称 RTX 6000 PRO 比 5090 快约 70%;RTX 20/30 系解锁可能性高,40 系已有实测工具,50 系因加入熔丝较难解锁。

    推荐理由:作者逐代梳理了消费级 RTX 显卡 FP32 累加被砍半的影响范围,并给出各代解锁可行性与实测对比,可作选购参考。

  2. Reddit · r/LocalLLaMA67

    RTX 4080 32GB 改装卡(AD102)解锁后 FP16/BF16 GEMM 性能翻倍

    /u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡(AD102)算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作,自定义 EFI 在 Windows 启动前应用改动并交还控制权,单卡在 Windows 11 下即可使用,无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS(N=4096 时分别 +99.71% 和 +100.73%),N=8192 时分别 +59.85% 和 +71.48%,FP32 基本不变。

    推荐理由:作者实测给出了修改前后的 GEMM 跑分对比,FP16/BF16 翻倍而 FP32 基本不变,数据具体可复现。

  3. AIHOT · 精选57

    Anthropic 指南:何时把子智能体合并进主 Agent 循环

    Anthropic Applied AI 团队发布指南,讲解何时把 orchestrator 下的路由器、规划器和领域子智能体合并进单个主 Agent 循环。文中对比显示,带 skills 的单智能体在质量上常优于一提示全包和子智能体设计,且成本和延迟更低;一家客户改用单循环后运行时间约快 2x。

    推荐理由:Anthropic 给出了多智能体与单循环架构的选择判据,附质量与成本延迟对比,可迁移到自己的 Agent 设计。

  1. GitHub · 去对齐工具与仓库57

    LLM-Infrastructure 开源:用动画讲解 AI 回答生成的四课交互教程

    GitHub 用户 abidaziz1 开源了 LLM Infrastructure, Animated,一个包含四个动画课程的交互式网页项目,共 81 个场景,展示一次 AI 回答如何生成。课程覆盖从键盘到 GPU 的完整链路、Claude Code 背后的 Agent while 循环、Prompt Caching 的 KV cache 与缓存分层原理,以及 token 为何耗时 30 ms 的 prefill 与 decode 差异。项目用纯 HTML、CSS、JavaScript 和 SVG 构建,无框架无构建步骤,打开 index.html 即可运行,支持滑块交互、测验、深浅色主题、reduced-motion,并附带基于 Playwright 的 headless Chromium 场景测试。

    推荐理由:用纯 HTML/CSS/JS 做的四个动画课程,把一次 AI 请求从按键到 GPU 的完整链路拆成 81 个可交互场景,无需安装即可在浏览器打开。

  2. Reddit · r/LocalLLaMA62

    围绕 MoE 模型搭建预算型 AI 工作站:384 GB DDR4 配 32 GB VRAM 的平衡点

    Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路:用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图,拟合出约 0.0565 的斜率,即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重;据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点,可给 KV cache 和运行时开销留出余量,而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。

    推荐理由:作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例,可据此判断 RAM 与 VRAM 的加配时机。

  1. Reddit · r/LocalLLaMA64

    DeepSeek-V4.1-Flash UD-Q4_K_XL 在 4x 3090 + EPYC 上的本地部署实测

    /u/C0smo777 在 EPYC 9575F + 768 GB DDR5 + 4x RTX 3090 上实测 Unsloth 的 DeepSeek-V4.1-Flash-1017 UD-Q4_K_XL 量化版,用 llama.cpp PR #30817 构建,散文生成从 12.6 提升到 25.4 tok/s,代码达 39.3 tok/s。关键调优包括用 --load-mode none --lazy-mode off 全量载入 RAM、每物理核一线程、-ub 2048 使 prompt 处理快约 35%;DSpark Q8_0 投机解码在代码上约 80% 接受率、速度翻倍,散文仅约 30%。作者还记录了 --fit 无法为 drafter 正确分配显存、与 --override-tensor 冲突等坑。

    推荐理由:作者实测给出了四组配置的逐项对比数据,包括 DSpark 投机解码在代码与散文上的接受率差异,可复现性较强。

  1. Reddit · r/LocalLLaMA62

    Strata 0.1.45 之前旧版本默认贪心解码,作者实测路由跳过对 4-bit 量化的质量影响

    /u/Distinct-Pie2389 在把 Strata 从 IQ2_XS 迁移到 Unsloth UD-IQ4_XS 时发现,0.1.45 之前的版本在请求未设 temperature 且 run config 无 sampling 块时会贪心解码导致模型循环,0.1.45 起改为使用模型卡默认值(thinking: temp 1.0, top_p 0.95, top_k 20)。

    推荐理由:作者给出自己 A/B 实测的解码速度与 KL 数据,并附上可直接抄进 run config 的采样与路由参数。

  2. Reddit · r/LocalLLaMA63

    4090 单卡加内存到 64GB 后将 Qwen3.8-Flash-Next 从 IQ2_XS 升级到 UD-IQ4_XS

    Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后,在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS,40GiB 专家权重驻留内存、0 次磁盘读取,262K 原生上下文下解码 87-98 t/s,136K 针测试通过,专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度,但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%;作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍,已设为 0。

    推荐理由:作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比,可迁移到自己的本地部署配置。

  1. GitHub · 灵魂体仓库58

    ultimate-prompt-engineering-playbook 收录 114 个交互式提示词工程笔记本

    作者在 GitHub 发布 ultimate-prompt-engineering-playbook,收录 114 个交互式 Jupyter 笔记本,每个对应一种提示词工程技术,覆盖 CoT、Few-Shot、RAG、输出控制、安全攻防、多模态等 13 大类,支持 ChatGPT、Claude、Gemini 等模型。每个笔记本可直接在 Google Colab 运行,附真实案例、失败案例分析和部分基准数据,项目采用 MIT 许可证。

    推荐理由:114 个可在 Colab 直接运行的提示词技术笔记本,按技术逐个覆盖并附失败案例和多模型对比,适合系统学习。

  1. GitHub · 去对齐工具与仓库58

    tmp_llm_dit 仓库用原生 PyTorch 缩小复现最新 LLM 与 DiT 核心块

    GitHub 用户 HisameOgasahara 开源 tmp_llm_dit 仓库,将 DeepSeek-V4、Kimi-K3、Qwen3.6/3.8、GLM-5.3、MiniMax、Qwen-Image-2.1、Cosmos3 等最新开放权重模型的核心块用原生 PyTorch 缩小实现,在小任务上训练后对比 attention map、表征与 ablation。所有块先通过与原版代码和输出等价的验证再用于实验,提供 Colab 笔记本、模型级前向与训练行为验证(梯度、学习轨迹、float64 数值微分、路由器 bias 更新)以及 00_run_all 一键批量运行并导出结果 zip。

    推荐理由:仓库把 DeepSeek-V4、Qwen3.8 等最新模型的核心块用原生 PyTorch 缩小复现,且每个实现都通过与原版输出等价验证后才用于实验。

  2. Hugging Face Blog71

    Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers

    Black Forest Labs 发布 FLUX.3 Image Klein,开放蒸馏版(16 步、无 CFG)和 base 版(50 步、CFG)两个权重,首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制,蒸馏版在 H100 上约 2 秒生成 1024×1024 图像,提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。

    推荐理由:官方教程给出两个开放权重的显存占用和 H100 实测生成耗时,还拆解了架构细节,方便评估部署成本。

  1. Reddit · r/SillyTavernAI62

    SillyTavern 角色卡教程第7篇:开场白、示例消息与备选问候的写法

    Reddit 用户 /u/Prudent_Finance7405 在 r/SillyTavernAI 发布角色卡新手系列第7篇,讲解 First Message、Example Messages 和 Alternate Greetings 三个字段的用法。开场白应从角色视角书写、少替 {{user}} 决定言行,并用于确立叙事风格;示例消息建议选三四段展示角色不同侧面的短对话;备选问候可为同一张卡提供不同开局场景,但不能替代 Scenario 或 Lorebook。

    推荐理由:作者用同一角色卡的正反示例对比,说明开场白、示例消息和备选问候各自如何影响对话走向,方法可直接套用。

  1. Reddit · r/LocalLLaMA71

    M5 Ultra 256GB 搭配 M3 Ultra 512GB 做预填充/解码分离,GLM-5.3-Flash 首token延迟从约40秒降到约18.5秒

    Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra,改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下,GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒,缓存交接仅 38 ms 传输 358 MB,M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建,并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上,限制是 prefill 节点需装下完整模型,仅适用于 256GB 内可容纳的模型。

    推荐理由:作者用真实负载实测拆分前后数据,并逐组件剖析预填充耗时构成,方法可迁移到自己的多机推理调优。