跳到正文
  1. GitHub · 灵魂体仓库62

    Momoding 1.0 预览版发布:把能干活的 Personal Agent 装进现有安卓手机

    Momoding 1.0 预览版在 GitHub 开源发布,是基于 OpenMinis 的 fork,把 Personal Agent 装进现有安卓手机(Android 8.0+),可交代一句话完成日程、提醒、闹钟、短信草稿、联网查询和例行任务。数据与记忆存在手机本地,自带模型 Key 调用 DeepSeek、Kimi、通义千问等服务,App 免费开源(GPLv3),因需无障碍等权限暂不上应用商店,仅在 GitHub 发 APK。

    推荐理由:这是开源手机端 Agent 的发布说明,讲清了数据存本地但对话发往自选模型服务的隐私边界,适合想自己部署的人对照评估。

  1. Reddit · r/LocalLLaMA62

    TensorSharp 在 5× A40 上运行 DeepSeek-V4.1-Flash-1017:预fill 吞吐达 llama.cpp 的 4.4–5.5 倍

    TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017(Unsloth UD-IQ2_XXS GGUF),默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍,关闭 YOCO 仍有 2.44–3.23 倍;decode 提升较小(1.08–1.20 倍)。质量上,WikiText-2 困惑度相对 llama.cpp 高约 0.46%(YOCO 关)到 1.14%(YOCO 开)。vLLM 0.32.0 在该机未能出 token,仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动,完整报告见 GitHub。

    推荐理由:作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化,可据此评估该推理引擎在 A40 上的实际收益与质量代价。

  1. GitHub · 灵魂体仓库59

    zhihu-ai-studio 开源:自托管 AI 内容创作与知乎运营工作台

    作者开源 zhihu-ai-studio,一个部署在自己服务器上的 AI 内容创作与知乎运营工作台,覆盖选题、写作、独立审稿、图文核验、发布与复盘全流程。项目内置 LLM Wiki 写作参考库,基于本地词法检索提供有来源、可链接的写法笔记,初稿须记录借鉴卡 ID 和迁移方式;支持多模型流式对话、长文分节写作与持久化 Markdown 知识库,默认关闭自动发布。

    推荐理由:开源的自托管 AI 写作到知乎发布全流程工程,从选题、LLM Wiki 参考检索到独立审稿和发布核验都有可借鉴的具体做法。

  1. AIHOT · 精选65

    DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer

    DeepSeek 开源高性能大规模推理框架 DeepInfer,采用 Apache-2.0 许可,仓库地址 https://github.com/deepseek-ai/DeepInfer。框架支持优化 kernel、模型与 sampler 运行时,包含 Attention DP、平衡 CP、MoE EP + EPLB 等并行方案,以及零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。

    推荐理由:原文列出了该推理框架的核心并行方案与调度特性,读者可以据此评估它在本地部署和大批量推理场景中的适用性。

  1. GitHub · 灵魂体仓库60

    qibin0506 开源 llm_trainer 全流程 LLM/VLM 训练与强化学习框架

    GitHub 仓库 qibin0506/llm_trainer 发布,是一个基于 PyTorch 与 DeepSpeed 的 LLM/VLM 训练框架,覆盖 Pretrain、SFT、DPO/ORPO/SimPO 到 PPO 与 GRPO 的完整流程,支持 8 种 GRPO 变体算子(grpo、bnpo、dr_grpo、cispo、dapo、luspo、sapo、vespo)。框架内置 Muon 优化器自动混合参数分组与多学习率比例调度,通过分块交叉熵、Active Token Filtering 和生成/评估分块降低显存峰值,支持多轮 Agent 强化学习交互与奖励折叠,并适配 NVIDIA CUDA、华为昇腾 NPU、寒武纪 MLU 和 Apple Silicon MPS 后端。

    推荐理由:原文完整给出了从预训练到 GRPO 的训练流程与关键显存优化手段,读者可以对照自己的硬件环境判断哪些模块可直接迁移。

  2. GitHub · 灵魂体仓库57

    lowtide 发布:DeepSeek Harness 的错峰任务队列插件

    lowtide 是 DeepSeek Harness(dsh)的任务队列插件,可把任务排入队列,在设定的低谷价格时段(默认 19:00 后)自动运行,据称同一批任务成本约为高峰时段的一半。插件提供单次、迭代、采样、评审四种执行策略和 L1 到 L3 三级自治档位,内置五道 preflight 检查、沙箱(approval 设为 never)、每日预算与文件 sha256 锁,含 168 个单元测试和 10 个端到端规格;默认模型为 deepseek-flash(DeepSeek-V4.1-Flash),安装地址 https://github.com/KelaoHu/dsh-lowtide 。

    推荐理由:原文把任务调度、沙箱与预算约束的设计讲得足够具体,读者可以评估无人值守跑批这件事的安全边界在哪。

  1. Reddit · r/LocalLLaMA59

    DeepSeek v4.1 Flash 1017 量化版发布,M5 Max 上解码可达 20tps

    Reddit 用户 /u/returnity 为 DeepSeek v4.1 Flash 1017(ds4)制作并发布了量化版本,需其 PR 才能加载新的 vision tower。量化沿用 antirez 原版 DS4.1 Q2 配方:2-bit 路由专家加 8-bit 及以上精度处理其余部分,imatrix 基于 1017 构建,并保留原版 FP8 engram 表。模型 wired backbone 超过 150GB,可在 128GB 内存系统上从 SSD 流式加载,M5 Max 上解码速度最高 20tps;约 200GB 的 engram 表按需从 SSD 分页调入。该版本中约 40% 路由专家张量、30% engram 和约 50% vision tower 专家张量有改动。

    推荐理由:作者给出了量化配方、模型体积与 M5 Max 上的解码速度等实测细节,本地部署用户可参考其 SSD 流式加载方案。

  2. Reddit · r/LocalLLaMA60

    2x DGX Spark 本地部署 DeepSeek-V4.1-Flash-1017:TensorFold 比 vLLM kit 快 2.1-2.3x

    /u/shayanx45 在 2x DGX Spark(TP=2 经 CX7 线连接)上以 EXL3 2.9bpw、1M 上下文运行 DeepSeek-V4.1-Flash-1017,实测 TensorFold 较 vLLM kit 快 2.1-2.3x:文本解码 27.0→56.8 tok/s,代码 39.9→92.2 tok/s,64K大海捞针 80.4s→35.9s;8K-64K 冷 prefill 约 2.1-2.2x,1M(1,034,753 tokens)达 1,246 tok/s。提示词缓存可跨重启恢复,18K 对话从 16.8s 降至 2.7s。部署配方与 HF 卡片已公开,引擎来自 bertholomus 的 V4.1 port,host 调优将随下次更新进仓库。

    推荐理由:作者用同一对硬件和同一组提示词给出 vLLM kit 与 TensorFold 的逐项对比数据,可复现的部署配方已开源到 GitHub。

  3. Reddit · r/LocalLLaMA60

    Xolotl 推理引擎在单张 RTX 4090 上以约 27 tok/s 运行 DeepSeek-V4.1-Flash 552B

    开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl,可在单张 RTX 4090(24GB)加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash,权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3,同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。

    推荐理由:作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据,方案可直接复现。

  1. Reddit · r/LocalLLaMA61

    DeepSeek-V4-Flash-0731 在 4 张 Radeon AI PRO R9700 上跑通 affinity,实测约 79 tok/s

    /u/brainchillzZ 在 Threadripper PRO 9955WX 加 4 张 R9700 上验证了 affinity 引擎此前被拒的 4 卡配置,DeepSeek-V4-Flash-0731 以 2.875 bpw 量化跑出 79 tok/s greedy、63 tok/s(temp 1.0),全部 11,008 个专家驻留显存,无退化输出。双卡仅 36 tok/s 且 82% 时间等待主机流式读取;作者指出原作者遇到的 bug 出在 4-on-2 模拟而非 4 rank 执行,并提示需加 --placement-strategy static。

    推荐理由:作者在四张真实 R9700 上复现了此前只能双卡模拟的 affinity 配置,给出双卡与四卡的实测吞吐对比和绕过启动报错的具体参数。

  1. Reddit · r/LocalLLaMA70

    Chida82 在 128 GB Mac 上流式运行 341 GB 模型,两个 macOS 修复让首 token 快 8 倍

    /u/Chida82 分享在其 sf-ds4-1flash(antirez ds4 的单模型 Metal 后端分支)上流式运行 341 GB Q2 GGUF 于 128 GB M5 Max 的两个 macOS 修复。修复 F_NOCACHE 在 APFS 上 16 KB 页边界外仍部分缓存的问题后,8K prompt 后首 token 从 1.23 s 降到 0.15 s;改用轮询共享邮箱而非等待 command buffer 后 decode 再提速 5.5%-6.2%。相比上游 ds4,prefill +45% 到 +99%,decode 约 30 tok/s(2K 上下文),输出经逐位校验保持一致。

    推荐理由:作者给出两个 macOS 底层修复的具体方法与前后数据,流式从 SSD 跑大模型的本地部署场景可以直接对照排查。

  1. GitHub · 灵魂体仓库60

    DuoGrader 开源考研英语作文双评批改工具,仿真实阅卷流程

    GitHub 项目 DuoGrader 开源,用双盲双评加仲裁流程批改考研英语作文:两位 AI 阅卷员独立评分,同档取均值、差档由仲裁员二选一,配三级错误分级、确定性预检和机器校验。验证显示同篇作文 3 轮双评档位零波动,12 处预植错误句级查全率 100%、误报 0,35 处逐句批改人工审计把对的改错为 0;支持网页、安卓 App 和 Agent Skill 三种用法,API Key 与数据仅存本地,作者同时说明绝对档位校准和真实手写字迹仍是已知局限。

    推荐理由:把考研阅卷的双盲双评和仲裁流程搬进 LLM 批改,验证数据公开、失败照报,方法对其他评分类项目可迁移。

  2. GitHub · 灵魂体仓库59

    weiza0v0 开源在线课程 AI 答题助手 course-ai-helper

    weiza0v0 在 GitHub 开源 course-ai-helper,一个 Node 脚本通过 CDP 驱动已登录浏览器,实现读题、大模型解题、答案自动填回页面(中国大学MOOC/超星)或打在终端(智慧树只读)。内置六个零依赖本地数学与检索工具,矩阵、微积分、统计等 106 项与 numpy/scipy/sympy 交叉验证;实测 MOOC 数学 10 题约 ¥0.07,智慧树 27 题约 ¥0.6。代码永不自动交卷,无 eval,智慧树因闭合 Shadow DOM 与 isTrusted 反作弊检测只做只读。

    推荐理由:开源的在线课程 AI 答题助手,读题解题并回填,附带成本数据、反作弊实测边界和六个本地数学工具的实现细节。

  1. GitHub · 去对齐工具与仓库61

    bobzhou-source 发布 job-application-harness:用 Bun CLI 自动完成浏览器求职申请

    bobzhou-source 在 GitHub 发布 job-application-harness,一个基于 Bun 的 CLI 工具,在专用 Chrome 配置文件中自动填写并提交网页版求职申请,支持单个职位、队列处理和从 Handshake 站点发现职位。执行器而非模型对每次点击、填写、上传和导航拥有最终决定权,默认在最终提交前停止,--submit 仅授权提交与必要声明,永不勾选营销选项、使用第三方登录或处理支付;CAPTCHA、MFA、出生日期等步骤始终留给用户。模型决策经 OpenRouter 与 DeepSeek,成本估算约每次典型提交 $0.04,含难站点平均约 $0.11。

    推荐理由:这个求职自动化工具把点击与提交权交给确定性执行器而非模型,安全边界写得很具体,其设计思路可迁移到其他浏览器 Agent 项目。

  2. GitHub · 灵魂体仓库61

    better-trip-planner:可加载进 Claude Code 等 Agent 的境内旅行规划 Skill

    ChenYiming-aaa 在 GitHub 发布 better-trip-planner,一个开放格式 Agent Skill,把一句旅行需求变成逐小时、信息经工具核实的行程计划,交付为自包含 HTML 页面,适配 Claude Code、Codex、Gemini CLI、Cursor 等宿主。SKILL.md 分六个阶段执行,内置四种模式(整趟、单日、空档填充、临场重排),针对中国大陆适配高德/百度地图、12306/携程深链、节假日调休与气象预警等数据源,营业时间和价格用工具核实、不代订不付款。所有密钥可选,无密钥时降级运行;README 称快速开始命令已于 2026-10-02 实测退出码均为 0,并附杭州到青岛 5 天等四个完整示例。

    推荐理由:README 给出了完整安装命令、实测验证记录和七种主题成品示例,想给编码智能体加行程规划技能的读者可以直接照着装。

  3. GitHub · 3D 生成新仓库58

    ai-video-prompt 开源工具发布,把参考视频反推成中英双语生成提示词

    wonfull888 在 GitHub 发布开源工具 ai-video-prompt,可将 30 秒内的参考视频反推成可直接生成的中英双语提示词。流程包括场景切分、Gemini 直读视频分析、可疑动作多窗口复查、表情审查、对账清洗和双语渲染,输出 prompt.md 及分镜表和证据图。依赖 Python 3.10+、ffmpeg、OpenRouter 和 DeepSeek Key,MIT 许可证,每次运行约 6-10 次模型调用。

    推荐理由:开源工具把参考视频反推成分镜加双语提示词,还带证据帧和不确定性标注,想复刻运镜的创作者可以直接拿来用。

  1. GitHub · 去对齐工具与仓库59

    euri10 开源 acp-llm-adapter:在 Zed 与 Neovim 中将 DeepSeek、GLM、Groq 用作编码 Agent

    euri10 发布 acp-llm-adapter,通过 Agent Client Protocol (ACP) v1 让 DeepSeek、GLM、Groq 等 OpenAI 兼容模型在 Zed 和 Neovim(LouiseLM、CodeCompanion 插件)中充当编码 Agent,适配器自身运行读文件、搜索编辑、执行命令的工具循环并汇报用量与成本。支持 ask、accept-edits、plan、yudo 四种会话中可切换的权限模式、MCP 服务器、持久化会话与上下文窗口/费用统计;目前为 Alpha 版,仅支持文本提示,不支持图像和 elicitation,安装需 Rust 1.95+,命令为 cargo install acp-llm-adapter,采用 MIT 许可。

    推荐理由:README 给出了在 Zed 和 Neovim 里接入 DeepSeek 等 OpenAI 兼容后端的完整配置示例与权限设计,方法可直接迁移。

  2. GitHub · 灵魂体仓库59

    TestGen Agent 开源:用 LLM 自动生成并修复 Java JUnit 4 单元测试

    作者在 GitHub 发布 TestGen Agent,一个独立 Python 工具,可为 Java 项目自动发现方法并生成 JUnit 4 单元测试,支持 OpenAI(GPT-4o-mini)、Anthropic(Claude)及 Anthropic 兼容端点如 DeepSeek,含自动编译修复(最多 3 次)、可选 JaCoCo 覆盖率引导改进和 JSONL 断点续跑。在捆绑的 Maven 演示项目上用 deepseek-v4-flash 端到端跑通:40 个测试文件全部编译通过,38 个可运行中 36 个通过,PiTest 突变得分 83.8%(67/80),接近人工基线 83.98%。

    推荐理由:作者用 PiTest 突变得分而非编译通过率来衡量 LLM 生成的测试质量,并公开了演示运行数据与诚实短板,方法可直接复用。

  3. GitHub · 去对齐工具与仓库69

    Echo-Smith 开源自托管中文 AI 写作工作台 LuminWrite-OSS

    Echo-Smith 在 GitHub 开源了面向中文内容创作的自托管 AI 写作工作台 LuminWrite-OSS,采用 MIT 协议。核心包括三层长期记忆加注入遥测、WritingContract 治理型写作运行时、基于 PostgreSQL 17(pgvector + ParadeDB)的自托管 RAG,支持 BYOK 接入 DeepSeek / Qwen / Kimi 等 OpenAI 兼容模型,Quickstart Compose 约 3 分钟可部署。

    推荐理由:作者把中文写作拆成检索到成稿再到记忆沉淀的工程流程,分层记忆注入遥测与治理运行时设计可作同类系统的参考。