开发者用代码模块替代截图方式让电脑 Agent 提速,已覆盖 118 个程序
Reddit 用户 /u/FareedKhan557 认为现有 CUA Agent 的截图-思考-点击循环太慢,改为通过代码模块驱动软件(如 python-docx、pyJianYingDraft、ezdxf、kicad-cli),无现成模块的自己编写,程序在后台渲染并检查输出。
推荐理由:作者用程序模块替代截图视觉循环来驱动桌面软件,并给出了照片、幻灯片、视频三类任务的具体耗时和成本数据。
新闻、仓库与研究,按时间排列。
Reddit 用户 /u/FareedKhan557 认为现有 CUA Agent 的截图-思考-点击循环太慢,改为通过代码模块驱动软件(如 python-docx、pyJianYingDraft、ezdxf、kicad-cli),无现成模块的自己编写,程序在后台渲染并检查输出。
推荐理由:作者用程序模块替代截图视觉循环来驱动桌面软件,并给出了照片、幻灯片、视频三类任务的具体耗时和成本数据。
有用户在 r/LocalLLaMA 反馈,Qwen3.8-Flash-Next 在编码和语音智能体场景中工具调用过于频繁,常在只要求分析时直接改代码,甚至自行创建 issue。对比之下,DeepSeek v4 flash 同样激进,而 MiMo-V2.6-Flash-MOPD 作为编码智能体体验更佳。发帖者询问能否通过提示词控制该行为。
一位 Reddit r/LocalLLaMA 用户询问如何将局域网内多台设备用于 multi-agent 本地部署:主 PC 跑 Qwen 3.6 27B(约 30t/s)、妻子 PC 跑 Qwen 3.6 35B(约 55t/s)、两台 Steam Deck 各跑 Qwen 3.5 2B(约 30t/s)。
一位 r/LocalLLaMA 网友求购 6000-7000 英镑的本地推理主机,主要用于编码,已确认 Deepseek V4.1 Flash 和 Qwen3.8 27b 体验良好,需要足够的 tok/s。他希望达到 64GB VRAM,考虑双 R9700 或 Intel 显卡方案,但不确定是否实际可行,征求配置建议。
作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎,测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。
推荐理由:作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎,还指出 KV cache 跨重启保留会误导二次跑分。
Reddit r/LocalLLaMA 用户发布 C++ 工具 UCVG.cpp,安装流程尽量贴近 llama.cpp,只需输入一对对比提示词即可为任意 LLM 生成控制向量。控制向量比系统提示词更持久,不会被用户输入覆盖,且可在对话中途调整向量强度即时改变模型响应;缺点是难以满足高度具体的要求,且高转向强度会降低回复质量。
Reddit 用户 3x4n1m0 发布测试版 Model Swarm Protocol,思路是让多个本地模型协同工作以获得比单个本地模型更快的性能。理论上可带来 3x 至 5x 的性能提升,具体取决于端点间延迟,作者希望借助真实使用反馈进一步优化。
作者在 GTX 1660 SUPER 6GB 上用 qwen3-1.7b、qwen2.5-coder-1.5b、llama-3.2-1b、smollm2-360m 四个 GGUF 模型搭建"写契约-写测试-写代码-修复"流水线,6 个编码任务共 785 次调用。
推荐理由:作者用已知正确解法检验小模型自写测试,并修正了统计口径,给出了可复现的流水线与仓库。
作者 /u/1982_miguel 发布开源 Go 工具 mova,在 LLM 调用前执行 AST 聚焦、PII 掩码、token 预算和出口门控,并留下决策证据,不依赖 LLM 估算上下文。
Reddit 用户发布自研 AI 智能体 Otis,可自动配置 llama.cpp 并根据硬件推荐合适模型,同时兼容 strata、ninfer 等已有本地环境及托管开源权重模型。其功能包括可查看的 artifacts、并排会话、记忆,以及在本机使用、让推理跑在更强机器上的能力。作者称用 qwen 3.8 学习新话题颇有帮助。
作者开源了 Project Athena v9.9.9 内核(MIT 协议),用 Git 版本化的 Markdown 文件把状态存磁盘而非上下文窗口,/start 只加载检查点和核心约束,使 KV cache 保持在 2K token 以内,90% 以上上下文留给代码与推理。
推荐理由:作者用 1900 多个真实会话验证了把状态放磁盘的做法,给出了 KV cache 压到 2K token 内和 prefill 延迟的具体变化。
一位 Reddit r/LocalLLaMA 用户求询:手上的 RX 7900(24GB VRAM、800 GB/s 带宽)有哪些真实有效的小众工具或玩法,能让本地运行 LLM 更有趣,并希望甄别社区帖子中真假难辨的提速说法。
一位 Reddit r/LocalLLaMA 新手询问自己的硬件能否尝试本地 LLM。其配置为 Ryzen 9 9950X、128 GB DDR5 内存、2× Intel Arc Pro B60 显卡、2 TB SSD,系统为 Ubuntu 26,此前仅在 2022 年 9 月短暂用过 ChatGPT。
作者发布开源中间件 OntoPrune(MIT 协议,https://github.com/vigmarcarlo/OntoPrune),通过把源码转为内存知识图谱、用 SPARQL 提取所编辑函数的 1-hop 闭包并渲染成类型化 Python stub,压缩上下文并校验生成代码。
推荐理由:作者给出完整基准数据,展示用神经符号上下文剪枝在本地 CPU 上把 TTFT 从 22.4 秒降到 3.3 秒的可复现做法。
一位 Reddit 用户称 Claude 客服承诺退款但 5 天来未到账:Google Play 无邮件通知、订阅未取消、无确认,且订阅已无法使用。该用户曾用 Claude 在 1 小时内完成此前用 Gemini 6 个月未完成的项目,发推求助也未获解决。
Reddit r/LocalLLaMA 用户发帖称,Strata 跑千问(Qwen)模型、token 速度亮眼固然好,但不展示实际成果就只是炒作。他呼吁社区晒出本地运行此前跑不动的新模型能做出的具体结果,并注明所用量化版本,同时表示几个月内会有更实用的小模型。
/u/dh7net 发布自建基准 airbench.ai 榜单,用真实任务(数学、视觉、电脑操作、编码)实测本地模型与 harness 搭配的能力和速度,参考基准为 Claude Code Opus 5.5 的 100%(14 分 26 秒),本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%(31 分 13 秒)。
推荐理由:作者用自建基准实测了多组模型与 harness 的本地搭配,给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。
Reddit 用户在 64 GB Mac mini M5 上以 SSD 流式方式运行 qwen flash next q4(QFN 装不下内存),实现 17.5 tks decode、390 tks pp,热缓存命中率 75%,预取准确率 72%。
一位 Reddit r/LocalLLaMA 用户正在开发本地微调工具,征集大家在微调过程中最耗时的痛点:环境配置、数据集准备、VRAM 显存占用,还是导出模型表现与测试时不一致、训练完成但效果几乎没提升。帖子同时询问所用模型与 GPU,以及最终的解决方案或放弃原因。
Reddit r/LocalLLaMA 用户 MKP_Nimilka 发帖征集用 GPU 笔记本真正完成过模型微调的实操经验,要求注明 GPU 与 VRAM、笔记本内存、模型参数量、微调方法(LoRA / QLoRA / 全量微调)、上下文长度与 batch size,以及训练后是否真的有用。发帖者关注消费级笔记本的实际能力上限,而不只是模型能否加载。
一位 Reddit r/LocalLLaMA 用户发帖询问如何系统学习 vLLM,称其生态系统难以理解,读官方文档也分不清 server 与 client library 的区别。
作者复盘自己训练模型 Apex-2 的经验:原计划训练约 1T tokens,因单张 H100 不够用最终只训了约 80B。
作者 /u/Abe238 发布 DecisionTune 1.0,一个基于 ModernBERT-large 加 4 KB 评分头的 395M 决策模型(Apache-2.0),输入状态、问题和选项列表后单次编码即输出各选项概率或 yes/no 的 P(yes),不生成文本。
推荐理由:作者给出了自家机器上的延迟、显存和 Decision Index 分数等实测数字,便于评估是否将其嵌入本地 Agent 决策环节。
作者在双 RTX 5070 Ti 16GB + Ollama 的本地 agent 上,把日常模型从 Qwen3.8 27B UD-Q4_K_XL(55-70 tok/s)换成 Ornith 1.5 35B-A3B(Q4_K_M),自建两项测试(9 步长会话和 10 个编码任务)两者均 9/9、10/10,而生成速度约 180 tok/s,约为原来的 3 倍。
Reddit 用户 /u/turtleninja99 在 Mac Mini M5 64GB 上通过 SSD 流式读取跑通 Qwen Flash Next Q4,实测 decode 17.5tks、prompt processing 360tks。
开源工具包 Infermeld 发布实验性 v0.1.0 版本,基于 llama.cpp 让一个 GGUF 模型跨 AMD(Vulkan)与 NVIDIA(CUDA)GPU 混合运行,提供设备选择、预检、可复现构建和只读热保护。
Reddit 用户发现 strata-swift-iq3_xxs 在清理冗余代码的子任务中,推理过程随机插入李光耀的百科式介绍等完全无关信息。该用户此前在 5070ti 上使用 Qwen3.8-27b-iq4xs,称 strata-swift-iq3_xxs 带来约 2~3x 性能提升。帖子询问 LLM Psychopathology 未来是否会成为研究方向。
一位 r/CharacterAI 用户发帖询问他人是否常用 Character.AI 内置的消息编辑功能修改机器人回复,称自己只想写故事、把 AI 输出当底稿,并想知道大家是否也因不满 AI 的怪异表现而动手改写。
有 Character.AI 用户反映最近约一周内,聊天机器人在对话中突然变得粗鲁、情绪反常,原本正常的交流中会被打断,需要反复重新生成回复或改写自己的发言才能维持正常对话。
一位用户在 Mac Studio 上本地运行 Qwen3.8-Flash-Next 做亚马逊产品研究时,发现模型在多次调用 amazon.com 后突然请求 routify-file-proxy-sg.oss-ap-southeast-1.aliyuncs.com,该地址疑似指向阿里云存储桶的 signed URL。
Reddit 用户分享用 explainroo 制作本地解说视频的体验:该工具完全本地运行,用 Kokoro 生成语音、Whisper 做逐词时间对齐、headless Chrome 绘制画面、ffmpeg 合成,无需 API key。但用几个视频后效果趋同,楼主在 r/LocalLLaMA 征求其他免费本地替代方案。
一位 Character.AI 用户发帖称,其侦探角色被刺伤住院后,多个同事角色探视时淡化伤情、轻描淡写,甚至拐弯抹角把责任归咎于玩家,即便玩家详细描述了受伤严重程度和经过也无济于事。帖子发布于 r/CharacterAI,作者寻求同类现象的解释。
开发者独立构建个人 AI 系统 AI NOBORU,从日常对话学习其决策方式生成"判断克隆",供 Claude、GPT、Gemini 等模型在上下文中调用。系统采用单向写入的私有 RAG,云端模型只能写入不能读取,读取仅由本地模型(Qwen3.6-35B-A3B、Gemma 4)在自有机器和 NAS 上完成。
一位 LocalLLaMA 网友计划把手头单块 R9700(32GB)升级为双卡配置,以提升推理速度并运行 Qwen3.8-Flash-Next 的 Q4 及更高量化版 3.8 27B。
作者 /u/spongioblast 发布 SPOPI,一个围绕 Pi 的本地 UI 和编辑器,用 Tauri 2 与 Rust 实现,UI 为系统 webview 内的纯 JavaScript,Pi 可直接修改应用界面而无需重新构建。
推荐理由:作者自述用 Tauri 替代 Electron 让 Pi 能直接修改自身 UI,且与终端共用同一套设置和包,思路可复用。
Reddit r/LocalLLaMA 用户发布 Spite 推理引擎构想,核心规则是每一层都可在不触碰其他层的情况下替换。模型按家族和变体组织为独立 kernel 模块(如 llama4、DeepSeek V4、Qwen3.5),GPU、单算子、sampler、tokenizer、KV cache 等子系统均为可插拔组件,由 dispatcher 自动匹配最优 kernel。
作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上,实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化(内部 GGUF 头均报告为 deepseek2 30B.A3B MoE)。
推荐理由:作者在 AMD 680M 核显上实测三种量化的速度差异,给出了聊天与长上下文场景各自该选哪个格式的具体依据。
用户在 2x DGX Sparks 上用 vLLM TP2 全本地运行 GLM 5.3 Flash,配合 Claude Code 搭建出一个跑酷模拟项目。Prefill 约 1500t/s,Decode 约 40t/s,100k 上下文,Claude Code 上下文设为 260k。作者称其编码能力介于 GLM 5.1 与 5.3 之间,视觉与 3D 理解表现不错。
Reddit 用户 /u/tabletuser_blogspot 在 r/LocalLLaMA 整理了一份适合 Vulkan 后端的低价 GPU 清单,称许多旧卡已不被最新 CUDA / ROCm 支持,但用 Vulkan 加 Linux 可在单系统上跑通 GTX 1080 Ti、P102-100 和 MI50。
一位 Reddit r/LocalLLaMA 用户配置为 i7-13700KF、RTX 4090 24GB + RTX 3090 Ti 24GB、128GB DDR4,考虑把 3090 Ti 移入单独的 LLM/AI 主机跑本地大模型,用闲置的 H370 主板和 i5-8400 搭建,只需另购电源。帖子征求建议:这样分离 LLM 负载是否有实际收益,还是双卡留在主机更好。