跳到正文
10月8日周四
  1. GitHub · 去对齐工具与仓库67

    kinorai 开源 omnifeed:给 AI Agent 提供自托管搜索加抓取完整研究链路

    kinorai 在 GitHub 开源 omnifeed,基于自托管 SearXNG 和 crawl4ai 为 AI Agent 提供搜索、URL、内容抓取的完整研究链路,支持 MCP 和 Open WebUI。其 Reddit 引擎用真实无头浏览器绕过 403 反爬,返回完整评论树并展开 /api/morechildren(最多 40 轮、约 4k 评论),输出为 TOON 格式,比 JSON 少约 40% token 且无需 Reddit API key;另有 Hacker News、GitHub、Bluesky、Discourse 专用引擎。

    推荐理由:自托管搜索加抓取一站式方案,Reddit 全评论树用 TOON 输出省约 40% token,对搭 Agent 研究流水线的人有直接参考价值。

  2. Reddit · r/LocalLLaMA32

    Reddit 用户在内部基准上对比 ≤3B 决策模型与微调后的 Qwen Embedding 0.6B

    一位 Reddit r/LocalLLaMA 用户在约 1 万行客服任务路由数据集上,对比了多个 ≤3B 决策模型与微调后的 Qwen Embedding 0.6B 基线。结果显示 Qwen Embedding 0.6B 准确率最高(0.7865),所有决策模型均未超越基线,Jiwo-0.8B 以 0.7027 居首,D1-Omni-600M 延迟最低(16.68 ms)。作者还发现较大的决策模型表现反而不如小模型,尤其是 liquidai 的模型。

  3. Reddit · r/LocalLLaMA28

    开源模型能搞定反编译/重编译项目了吗?

    Reddit r/LocalLLaMA 有用户询问,Opus5.5、Sol6.1、Fable 和 Astra 已被证明能完成反编译/重编译项目,开源模型(包括 K3、GLM5.3、Qwen3.8-Max、Mimo-2.6)是否也能胜任。发帖人还问 GLM 5.3-Flash、Qwen 3.8-Next-Flash、V4.1-deepseek Flash 等较大模型能否处理 GBA 和 PSP 这类 ROM 较小、工具链成熟的更简单项目。

  4. Reddit · r/LocalLLaMA23

    Qwen Flash Q2_0 与 IQ2_XS GSQ-RCO 量化对比测试(基于 Strata)

    Reddit r/LocalLLaMA 用户对比测试了 Qwen Flash 的 Q2_0 与 IQ2_XS GSQ-RCO 两种量化版本在旧笔记本上的表现。结果显示 IQ2_XS 更好地保留了世界知识,但比 Q2_0 更容易出现循环输出,尤其在关闭思考模式时;IQ3 则严重拖慢 prefill。两者在基准测试中各有优势领域,作者邀请其他用户分享使用体验。

  5. Reddit · r/LocalLLaMA39

    Qwen3.8-27B 微调模型对比评测:mradermacher/Signal-3.8-27B-Terse-Coder 胜出,与 Opus 5.5 等前沿模型基线对比

    作者用 469 题领域评测对比多个 Qwen3.8-27B 微调模型,mradermacher/Signal-3.8-27B-Terse-Coder.i1-Q4_K_M 在准确率、token 用量和完成时间上最优,仅 1 次超限。Opus 5.5 以 99.6% 准确率居首,但本地模型比前沿模型慢 28 倍(19 分钟 vs 9 小时),换取约 100% 的隐私。gpt-oss-120b 在 pandas/numpy 任务上表现糟糕,评测工具已开源。

  6. Reddit · r/LocalLLaMA38

    中国 AI 一线观察:没有出海的内卷是白费功夫

    作者在北京和上海与中国的 AI 从业者交流后指出,字节跳动/豆包是唯一保持旗舰模型闭源的主流实验室,因为它拥有自家的 ChatGPT 式超级应用豆包,用户超过 300 million。文中引述观点称:“落后于前沿时,开放能让单位能力的声誉最大化;一旦领先,就会走向封闭。”

  7. Reddit · r/LocalLLaMA34

    两个月盲测实验:普通人能分辨出不同 AI 模型的差异吗?

    一位 Reddit r/LocalLLaMA 用户用 RTX 3090 和自建 WebUI 对 8 名普通人做了约两个月的盲测,轮换 Qwen 3.6 27B、Gemma 26B-A4B 等 7 个本地模型,共处理 7,912 次请求。结果参与者普遍偏爱 Gemma 模型的回答,多数人以为自己在用 ChatGPT 5.5/5.6;抱怨集中在 9B 及以下模型“理解不了”。使用场景以文档写作和语法检查为主,仅 51 次请求用高推理档,绝大多数请求上下文约 64K。

  8. Reddit · r/LocalLLaMA29

    DeepSeek Harness 桌面应用新增 29 种 UI 语言(MIT 开源)

    开发者为 DeepSeek Harness 桌面应用制作了一个语言插件,在语言选择器中新增 29 种语言,共 73,312 条词条(29 种语言 × 2,528 个 key),不改动核心代码。未翻译字符串回退到英文,每次提交前有质量门禁校验占位符数量、产品名不翻译及书写系统混用,并为阿拉伯语、乌尔都语、希伯来语和波斯语提供从右到左支持。项目以 MIT 协议开源,基于 0.2.0-rc.2 构建。

  9. Reddit · r/LocalLLaMA41

    本地 AI 折腾记:4 节点 Aether 系统、自建记忆/推理栈加本地 VideoForge,寻找攻克同样瓶颈的人

    一位 r/LocalLLaMA 用户把“本地跑 LLM”扩展成了名为 Aether 的多机系统:主力机为 Ryzen 9 5900XT + RTX 3090 24GB + 64GB 内存,另有 Beta 节点和 M3/M4 Apple 卫星节点,按任务分配硬件。系统上层是自建的 PRS 推理编排层和 MOC 迷你内核,负责记忆、上下文选择、真相溯源与失败防护。本地视频管线 VideoForge 基于 ComfyUI + WAN/VACE,并尝试用 Runway、ElevenLabs、PixVerse 作为教师基准实现本地复现。

  10. Reddit · r/LocalLLaMA31

    Strata 编程实测:prefill 提速但幻觉频发,作者因可靠性问题弃用

    作者用 12 小时自动化编程测试对比 Strata 托管的 Qwen3.8-Flash-Next-UD-IQ4_XS 与本地 llama.cpp 运行版本(两者均 Q8_0 KV-cache、推理设为 xhigh)。Strata 大幅提升 prefill 速度,但出现混淆是否已创建报告、幻觉读取工具输出、反复写入损坏文件等可靠性问题,作者已停用,认为其不适合企业级应用开发环境,建议必须配合全自动测试和 QA 流程使用。

  11. Reddit · r/LocalLLaMA67

    双 CMP 170HX 64GB 本地跑 GLM-5.3-Flash 384K 上下文约 90 tok/s,并对比 Qwen3.8

    /u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM,配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文,解码约 90 tok/s,配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。

    推荐理由:作者在同一台机器上实测两套本地部署方案,把原始推理速度和真实智能体任务完成时间分开对比,思路对搭建类似配置有参考。

  12. Reddit · r/CharacterAI12

    Character.AI 用户因临时邮箱失效被锁账号,无法更换邮箱

    一名 Character.AI 用户发帖称,自己四年聊天记录的账号因使用临时邮箱 sharklasers.com 注册而被锁定,应用正常但邮箱验证持续硬退信。该用户提交了 3 个工单,只收到“无法更改邮箱”的固定回复,随后陷入客服无人处理的状态,感叹无法换邮箱、只能放弃四年对话。

  13. Reddit · r/LocalLLaMA19

    64GB M1 MBP 如何在 Metal + MoE 下选择本地模型与运行框架(2026年10月)

    一位 64GB M1 MacBook Pro 用户想为文档审阅和编程搭建本地模型方案,因合同保密不能上云。他已安装 Pi 并希望由 llama.cpp 提供本地模型,注意到刚合并的 cached MoE 支持可使 Metal 运行 MoE,但 dwarfstar4(ds4)据报道在 Metal 下需要至少 96GB 内存。他在 Qwen 27B、Gemme 4B 等社区推荐之间犹豫,也想了解 decision models 是否能与大模型在同一 harness 中配合使用。

  14. Reddit · r/LocalLLaMA48

    自托管多人文字 RPG Anyworld 更新:新增 Docker 部署与零配置 Cloudflare 隧道

    开发者更新了自托管多人文字 RPG 游戏 Anyworld,由 AI 担任地下城主,新增 Docker Compose 部署和零配置 Cloudflare Quick Tunnel,可直接打印公网 HTTPS 链接供玩家加入。本地推理基于 llama.cpp 与 NVIDIA GPU,从 Hugging Face 下载配置好的 GGUF 模型,提供 16 GB VRAM 系统的推荐设置,也可改用 OpenAI。游戏记录在容器重建后保留,作者称临时隧道 URL 偶发访问失败,欢迎反馈。

  15. Reddit · r/LocalLLaMA48

    自托管多人文字 RPG 游戏 Anyworld 更新:新增 Docker 部署与零配置 Cloudflare 隧道

    开发者更新了自托管多人文字 RPG 游戏 Anyworld,新增 Docker compose 部署和零配置 Cloudflare Quick Tunnel,无需配置网络或端口转发即可生成公开 HTTPS 链接供玩家加入。本地推理基于 llama.cpp(NVIDIA GPU 支持)和从 Hugging Face 下载的 GGUF 模型,提供 16 GB VRAM 系统的推荐配置,也可改用 OpenAI;游戏记录在容器重建后仍保留。

  16. Reddit · r/LocalLLaMA13

    PaddleOCR-VL-1.6 能否在 8 GB 显存的 RTX 5060 上高效运行?

    一位用户尝试在 8 GB 显存的 RTX 5060 笔记本 GPU 上运行 0.9B 参数的 PaddleOCR-VL-1.6 做文档 OCR,虽然官方标注约需 4 GB 显存,实际却占满 GPU 并溢出约 6 GB 内存,处理速度仅 13~70 秒/页,多页解析时报显存不足。Hugging Face 推荐的 vLLM 方案需要 Linux 双系统或 WSL2,用户因存储不足而求证可行方案。

  17. Reddit · r/LocalLLaMA10

    HOMIE 还是 MADE?给 strata、ninfer 这类专用推理引擎选哪个缩写更好

    Reddit r/LocalLLaMA 用户就 strata、ninfer 这类引擎的命名征集意见,候选缩写为 HOMIE(Hardware-Optimized Model Inference Engine)和 MADE(Model-And-hardware Dedicated Engine)。这类引擎只能运行在特定硬件上,且仅支持 1 个或极少数模型,但作为交换,在对应硬件上的性能超过了 llama.cpp 和 vLLM 等通用引擎。

  18. Reddit · r/LocalLLaMA80

    Qwen3.8-Flash-Next 无 NVLink 六卡部署补丁发布,250k 上下文 prefill 提速 8-10 倍

    /u/flynth92 发布 llama.cpp 性能分支 llama.cpp-multigpu,在六张 3090 纯 PCIe(无 NVLink、无 P2P)上跑 Qwen3.8-Flash-Next,250k 上下文 prefill 从 263 提到 2111 t/s(8 倍),六张 4090 上为 10 倍;单会话 250k decode 提速 2.3-3.3 倍,五会话各 250k 时从 2.3 提到 27.3 t/s。补丁基于上游 df03399b8,提供 CUDA 12.9/13.4 tarball 和 ghcr 镜像,通过环境变量开启;附 n-gram 推测解码,代码改写场景再提速 2-2.5 倍。作者说明仅在 CUDA、该单一模型上测试,代码经 LLM 编写并以实测验证,未向上游提 PR。

    推荐理由:作者给出同机同模型的上下游对比数据和适用边界,读者可判断自己的 PCIe 多卡长上下文场景是否值得换用这个分支。

  19. Reddit · r/LocalLLaMA53

    LIBERO 基准移植到 MuJoCo Warp:单块 $700 AMD GPU 上跑 130 个机器人操作任务

    作者将机器人操作基准 LIBERO 全部移植到 MuJoCo Warp,在 $700 的 RX 9070 XT 上以 2,048 个并行世界达到 17,137 env-steps/s,而 CPU robosuite 为 38。50 epoch 的 BC transformer 在 Warp 上得分 42.5%(CPU 为 50%),作者通过垂直翻转、去阴影、1.15x 亮度和 cube-map 采样四项渲染修复从 0% 提升而来,其中亮度一项就值 12.5 分。代码与 21.6 MB BC checkpoint 已开源,训练仍为 PyTorch 离线进行。

  20. Reddit · r/LocalLLaMA79

    在 128 GB Mac 上跑 341 GB DeepSeek V4.1 Flash,作者通过单模型裁剪 fork 实现约 2 倍解码提速

    Reddit 用户在 128 GB M5 Max Mac 上以 Q2 运行 341 GB 的 DeepSeek V4.1 Flash,将 ds4.c 从 85k 行裁剪到 34k 行、只保留 DeepSeek 和 Metal 后端,配合 kernel 融合与双 SSD 流式读取,解码从 12.1 提升到 24.4 tok/s,8K 上下文后首个 token 时间从 1.38 s 降到 0.18 s。所有改动要求输出 token 与上游逐位一致,仓库为 github.com/Chida82/sf-ds4-1flash,通用流程在另一个仓库 StarForge。

    推荐理由:作者给出完整的实测方法和逐项数据,还把裁剪和优化流程整理成可复用的仓库,思路可直接迁移。

  21. Reddit · r/LocalLLaMA49

    Liquid AI d1-omni-600M 决策模型通过 WebGPU 在浏览器中运行

    Liquid AI 发布 d1-omni-600M 决策模型,开发者将其移植到自己基于 TypeGPU 的纯 TypeScript WebGPU 推理库 runntime 中,无需 WASM,权重直接从 HF safetensors 加载。演示中模型实时审核评论,对每条评论回答 4 个问题,约 180 ms/条、约 45 ms/问题。该移植尚未进入 npm 发布,runntime 其余功能(检测、分割、语音转文字、嵌入向量等)已可用。

  22. Reddit · r/LocalLLaMA59

    开发者发布开源桌面 coding agent Alpine Code,可用 Python 函数自定义工具

    开发者 /u/TGoddessana 发布 MIT 许可的开源桌面 coding agent Alpine Code,可连接本地模型处理项目代码,仓库见 https://github.com/TGoddessana/alpine-code。工具用 Python 函数编写,函数名、类型提示和 docstring 定义模型可见的接口,依赖经 PEP 723 内联元数据声明;agent 循环基于 alpineagents 库构建,上限 200 轮。支持 Ollama、LM Studio、vLLM 等 OpenAI 兼容端点,可在会话中切换模型并通过 tool profiles 为不同模型和项目配置工具。

    同一新闻,精选展示《Alpine Code 开源桌面与终端 AI 编码 Agent 发布》

10月7日周三
  1. Reddit · r/CharacterAI10

    Character.AI 免费用户的屏蔽词数量太少

    Character.AI 免费用户仅能设置 4 个屏蔽词(muted words),有用户抱怨远不够用,只能把多个词合并成 "looming_towering" 之类的写法绕过限制。用户还反映平台内容过滤过度矫正,机器人在角色扮演中把二十多岁的成年角色当成未成年人对待,出现俯视身高、儿语等不当表现。

  2. Reddit · r/CharacterAI13

    Character.AI 用户吐槽:角色动辄变得攻击性和控制欲过强

    一位 r/CharacterAI 用户抱怨 Character.AI 角色多年来存在攻击性问题:角色在普通对话或玩家想让角色离开房间时,也会突然变得具攻击性和控制欲,出现"握紧大腿"等强迫性描写,且用户尝试制止时角色会进一步升级。该用户表示角色描述中并无攻击性设定,只能反复手动编辑或回退消息,不理解平台为何多年未修复这一被大量投诉的问题。

  3. Reddit · r/LocalLLaMA10

    LocalLLaMA 求助:预算 $1700-1800 如何升级 GPU 跑本地 LLM

    一位 Reddit r/LocalLLaMA 用户在预算 $1700-1800 内纠结 GPU 升级方案:加一块二手 5060Ti 16GB(约 $500)、买二手 7900 XTX(24GB VRAM,$850),或直接上 R9700。其现有配置为 Ryzen 9 9950X、96GB 内存、5060Ti 16GB 和仅一条 PCIe 5.0 x16 的 ASRock X870 Pro,正在考虑是否换 X870E Taichi 主板以获得双 PCIe 通道,主要用途是写代码和 analyse 文档、地图与图像。

  4. Reddit · r/LocalLLaMA16

    Reddit 用户求助:双 7900XTX 本地大模型推理的升级建议

    一位用户在 r/LocalLLaMA 求助升级方案:他在 z390(PCIe3 8x)上用双 7900XTX 跑 27B 模型,考虑换 x570 或 x870 主板配合张量并行提升性能,或等待搭载 LPDDR6 与 256GB 内存的 Medusa/Spark 平台。他还在 gorgon halo 的价格与 WRX80 方案之间权衡,不想增加 GPU,只想获得 8 通道内存以运行 QFN 模型。

  5. Reddit · r/LocalLLaMA54

    Reddit 用户用 logprob 门控改进本地实时诊疗转写流程

    /u/r-chop14 在 r/LocalLLaMA 分享了一个受 Jev 启发的本地实时转写工作流:用 TEN-VAD 分段、Whisper 兼容后端(parakeet.cpp 加载 Parakeet 0.6B 医疗微调模型)转写,CAM++ 声纹做说话人分离,再用小型 LLM 对每句话分类为 NOTE、ACT 或 SKIP,其中 SKIP 缓存延迟送入主模型(主模型为 Qwen3.8-Flash-Next,副模型为 Qwen3.5 4B,经 llama.cpp server)。作者发现仅靠单步解码的概率质量分类约 81% 准确率且 Qwen3.5-4B 几乎不判 SKIP,加入 P(SKIP)≥0.05 且短句改判 SKIP 的启发式后,0 漏判,SKIP 召回率从 0-50% 提升到 75-100%。

  6. Reddit · r/LocalLLaMA58

    cmpunlocker v0.5 发布,新增 ECC 支持并免费解锁 4 个 SM

    Reddit 用户 /u/chemist_slime 发布 cmpunlocker v0.5,新增 ECC 支持并免费额外解锁 4 个 SM,gen3 解锁也在计划中,工具见 https://github.com/amoghmunikote/cmpunlocker/releases。作者对比 CMP170hx(1.5TB/s 显存带宽)与价格涨至 5k 的 64GB DGX Spark(273 GB/s),认为前者以不到一半价格更适合 localAI。

    推荐理由:原文给出了硬件解锁工具的版本更新和与 DGX Spark 的带宽价格对比,读者可以据此评估本地部署的替代方案。

  7. Reddit · r/LocalLLaMA55

    RTX PRO 6000 Blackwell 对比 H200 推理选购指南:不同预算下怎么选

    B3 Labs 员工在 r/LocalLLaMA 分享 RTX PRO 6000 Blackwell 与 H200 的推理部署选购思路:PRO 6000 有 96GB GDDR7(1.792 TB/s)、原生 FP4、无 NVLink,适合单卡或小规模多卡跑约 70B 及以下模型,价格和货源更友好;H200 有 141GB HBM3e(4.8 TB/s)加 NVLink,适合长上下文、大模型和张量并行等受内存带宽限制的场景。作者提醒解码通常受内存带宽而非算力限制,不要只看数据表上的 TFLOPS。

  8. Reddit · r/LocalLLaMA38

    原版 GLM-Edge-1.5B-Chat 在 4GB Galaxy A04e 上完成真实 Amazon 购物车任务

    GLM-Edge-1.5B-Chat(Q4_K_M GGUF 量化、无微调)通过 llama.cpp 在 4GB 内存的 Samsung Galaxy A04e 上本地运行,借普通桌面 Firefox 会话在 Amazon 完成了查找电池与黄色橡皮鸭并加入购物车的真实任务,两次运行均成功。A04e 全程约 8.5 分钟,Galaxy S21 上约 3 分钟。模型不接收截图或原始 HTML,而是通过结构化浏览器感知层(E2LLM/SiFR)在用户现有浏览器会话内操作,即"Browser-as-Shared-Space(BaSS)"思路。

  9. Reddit · r/LocalLLaMA57

    EmbeddingGemma 2 移植到 ruNNtime,在浏览器 WebGPU 上实现图文检索

    作者将本周发布的 EmbeddingGemma 2 的文本和视觉塔移植到 TypeScript 编写的 WebGPU 推理库 ruNNtime,模型将图像和文本映射到同一个 768 维空间。做了一个小型相册演示,图片搜索完全在浏览器内的本地 GPU 上运行;ruNNtime 还支持多种其他视觉类模型,源码见 https://github.com/software-mansion/runntime 。

  10. Reddit · r/LocalLLaMA30

    2019 款 Mac Pro 跑本地 LLM 有多强?

    Reddit 用户回顾 2019 款 Mac Pro 作为本地 LLM 主机的潜力:最高 1.5TB 系统内存,可容纳 4 张被动散热 GPU、共 128GB 显存,有桌面和机架两种形态。该机型后来停售,替代品最多只有 192GB 共享内存。作者认为若配以新硬件上市,它将是当下理想选择,昂贵是市场因素而非设计缺陷。