跳到正文
今天10月26日周一2 条
  1. GitHub · 灵魂体仓库58

    音乐制作人开源本地 AI Agent 工作台 Real,Rust 后端核验模型改动的每一轮

    音乐制作人 Azzrenz 在 GitHub 开源了 Windows 本地 AI Agent 工作台 Real(MIT 协议),从 2026 年 5 月底开始开发,六万六千行代码全部由 AI 生成。它以收敛循环推进任务,每轮把上下文交给模型表态,模型发工具调用就执行并带回执,给纯文本则收敛结束。设计上模型只做判断,后端核验事实,改动清单按 mtime 扫描生成、不由模型申报,长命令按进程退出码判定。实测缓存命中 94–98%、单任务 ¥0.06–0.09,同类任务第二轮轮次从 30 降到 16、成本降 33%。后端 Rust(Axum + SQLx + SQLite),桌面壳 Tauri 2 + React 18,内置 DeepSeek 与智谱 GLM,数据默认落 D:\RealData 不云同步。

  2. GitHub · 灵魂体仓库41

    autoNews:用 GitHub Actions 零成本自动生成前沿 AI 日报的开源项目

    GitHub 开源项目 autoNews 每天自动采集全球 AI 资讯,覆盖 11 个垂直领域,用大模型生成结构化解读并归档为飞书云文档,全程运行在 GitHub Actions 上,零服务器成本。项目支持 ArXiv、GitHub Trending 等多源采集,标注 [大厂/顶级机构] 等质量标记,可配置飞书或钉钉推送。模型接口任意 OpenAI 兼容服务均可,支持 DeepSeek、通义千问、智谱 GLM、OpenAI 等,每天北京时间 08:00 自动运行并跨天查重。

10月25日周日
  1. GitHub · 去对齐工具与仓库22

    TransLLM:开源 BYOK 浏览器 AI 翻译扩展,支持 DeepSeek、OpenAI 与本地 Ollama

    TransLLM 是一款 100% 直连、零追踪、自带 API Key(BYOK)的浏览器 AI 翻译扩展,支持 DeepSeek、OpenAI、Groq 及任意 OpenAI 兼容端点,还可离线接入本地 Ollama。它提供划词悬浮气泡和整页双语注入两种翻译模式,纯 JavaScript 实现体积小于 200KB,采用 Manifest V3 与 Shadow DOM 隔离,API Key 仅存于 chrome.storage.local。项目以 MIT License 开源,免费使用,只需支付 token 费用。

  2. GitHub · 灵魂体仓库33

    SilvioBaratto/optimizer:基于 skfolio 的组合优化 uv 工作区,含 LLM 智能体基金桥

    GitHub 上的 SilvioBaratto/optimizer 是一个由四个 Python 包组成的 uv 工作区,核心是纯 Python、基于 skfolio/scikit-learn 的组合优化库 portopt-core,无需 Docker 和数据库即可安装运行。工作区还包含定时拉取行情数据的 PostgreSQL 摄取守护进程、共享 DB 层,以及 portopt-fund 基金桥——由 LLM(默认 Ollama Cloud 上的 DeepSeek,可通过 LLM_PROVIDER 切换十个提供商)决策、优化器计算、模拟交易需经人工审批门控。项目要求 Python ≥ 3.12。

10月24日周六
  1. GitHub · 3D 生成新仓库11

    开源 AI 简历生成器 ResuMaker.AI:基于 DeepSeek R1 与 Gemini 2.0 Flash,生成 ATS 友好简历

    开源 SaaS 项目 ai-resume-builder(ResuMaker.AI)可按职位、经验与技能用 AI 生成简历,并针对 ATS 筛选系统优化结构。项目通过 OpenRouter API 调用 DeepSeek R1 与 Gemini 2.0 Flash 模型,支持阿拉伯语、英语和法语,可一键导出白底 PDF 或复制文本。前端采用 HTML5 与 Tailwind CSS,后端为 Node.js / Vercel Serverless Functions,部署于 Vercel。

  2. GitHub · 灵魂体仓库62

    Momoding 1.0 预览版发布:把能干活的 Personal Agent 装进现有安卓手机

    Momoding 1.0 预览版在 GitHub 开源发布,是基于 OpenMinis 的 fork,把 Personal Agent 装进现有安卓手机(Android 8.0+),可交代一句话完成日程、提醒、闹钟、短信草稿、联网查询和例行任务。数据与记忆存在手机本地,自带模型 Key 调用 DeepSeek、Kimi、通义千问等服务,App 免费开源(GPLv3),因需无障碍等权限暂不上应用商店,仅在 GitHub 发 APK。

    推荐理由:这是开源手机端 Agent 的发布说明,讲清了数据存本地但对话发往自选模型服务的隐私边界,适合想自己部署的人对照评估。

  3. GitHub · 去对齐工具与仓库34

    automated-news:用 LLM 每日自动生成的西语科技新闻静态终端

    基于开源项目 automated-news,每天在 GitHub Pages 发布最多 20 条西语科技新闻摘要和热门仓库,默认使用 DeepSeek 的 deepseek-v4-flash 模型做筛选与撰写,也可切换为 claude-code。RSS、Hacker News 和 GitHub Trending 抓取去重后,由 LLM 仅做选择和撰写并经 JSON Schema 验证,每期以 JSON 存入仓库,通过 GitHub Actions 与 Eleventy 3 自动部署,无需服务器或数据库。

  4. GitHub · 3D 生成新仓库42

    dsh-imagegen:DeepSeek Harness 的一站式 AI 生图插件

    dsh-imagegen 是 DeepSeek Harness 的生图插件,通过 `dsh plugin --profile web add @dickpy/dsh-imagegen` 安装,集成文生图、图生图、无限画布、电商套图、图片转可编辑 PPT、多模型对比与画廊管理等功能。插件支持 OpenAI 兼容 Images API / Chat Completions,并预置 xAI Grok、Google Nano Banana、Seedream、Qwen-Image 等渠道,历史与画布数据保存在本机 ~/.dsh/dsh-imagegen/。项目采用 Apache-2.0 许可证,从插件 1.8.2 起支持在面板内在线更新。

10月23日周五
  1. Reddit · r/LocalLLaMA62

    TensorSharp 在 5× A40 上运行 DeepSeek-V4.1-Flash-1017:预fill 吞吐达 llama.cpp 的 4.4–5.5 倍

    TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017(Unsloth UD-IQ2_XXS GGUF),默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍,关闭 YOCO 仍有 2.44–3.23 倍;decode 提升较小(1.08–1.20 倍)。质量上,WikiText-2 困惑度相对 llama.cpp 高约 0.46%(YOCO 关)到 1.14%(YOCO 开)。vLLM 0.32.0 在该机未能出 token,仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动,完整报告见 GitHub。

    推荐理由:作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化,可据此评估该推理引擎在 A40 上的实际收益与质量代价。

  2. GitHub · 3D 生成新仓库37

    Breadwinner:开源本地优先的反幻觉简历定制工具 FaizPalwala/breadwinner 发布

    开源项目 Breadwinner 是一款本地优先的 8-Bit 风格求职简历定制工具,核心反幻觉规则要求每条简历要点都必须可追溯到本地 Career Pantry 中的已验证事实,并严格保留如 scaled to 10M events、latency 降低 45% 等真实指标。它完全离线运行,支持 LM Studio、Ollama 本地模型,也可接入 Gemini、DeepSeek、Groq、OpenAI 的 API key,简历与 API 密钥均保存在本地。工具提供双栏要点编辑器、ATS 审计仪表、无头 Chromium 生成符合 Jake's Resume 标准的 A4 PDF,以及自动按指标密度和时效性裁剪内容的 Career Curator。

  3. Reddit · r/SillyTavernAI23

    DeepSeek V3.2 经 Chutes 接入 SillyTavern 持续生成空白回复,用户求助

    有用户反馈,在 Android 的 Termux 上通过 Chutes 在 SillyTavern 中使用 DeepSeek V3.2 时,近期随机出现空白回复,其他模型正常。日志显示模型已生成内容,但全部写入了 reasoning_content 字段而非 content,导致 SillyTavern 收到空回复。作者已尝试切换连接方式、调整采样参数和推理设置均无效,怀疑与约 60k tokens 的长对话、Chutes 端点或 SillyTavern 的响应处理有关。

  4. GitHub · 去对齐工具与仓库49

    ai-pricelog:GitHub 上自动更新的生成式 AI 定价索引仓库

    GitHub 仓库 ai-pricelog 每小时抓取 30 个来源的定价页面和 OpenRouter API,追踪 1,344 个模型、3,245 个 canonical 模型,自 2023-03-01 起累计 3,245 条带日期的价格记录。每次价格变动以带日期的行写入 history 文件,由 CI 中的 Claude 审核后合并,其余等待人工确认。数据通过 dist 分支提供 index.json、flat-v2.json 等视图及含搜索、比价和 token 计算器的静态页面。

10月22日周四
  1. GitHub · 灵魂体仓库51

    Mac-WeChat-ChatBot:macOS 原生微信 AI 助手开源,用 Frida 注入官方微信实现自动回复

    Gusion1017 在 GitHub 开源 Mac-WeChat-ChatBot,通过 Frida Gadget 注入 macOS 官方微信(唯一实例),经 Go OneBot bridge 接入 SwiftUI App,调用 DeepSeek、OpenAI、Ollama 或任意 OpenAI 兼容端点生成拟人化回复。支持私聊自动回复、群聊 @ / 关键词 / 拍一拍触发、白黑名单与限流、按会话覆盖人格与提示词,记忆采用 10 条短期窗口加 8 条批量总结、综合权重含 30 天半衰期。微信 4.1.12.53 / 4.1.15.55 / 4.2.0.5 已真机验证,媒体下载为已知缺失;消息与记忆仅存本机、API Key 存 Keychain。

  2. GitHub · 3D 生成新仓库32

    1644ye/pages:dsh-shopify-page-studio 插件开发中 0.1.9 融合 DeepSeek 生成,正式版仍为 0.1.7

    GitHub 仓库 1644ye/pages 的 DSH 插件 dsh-shopify-page-studio 正在开发 0.1.9,将「首页与 SEO 提示词」与 DeepSeek 直接生成融合并共用预览和变量,已适配本机 DSH 0.2.1-rc.2 并保留 0.2.0-rc.2 支持。该改动已进入源码但未发布新 Release,正式下载仍为 0.1.7,支持 Windows / DSH 0.2.0-rc.2 / Node 24。插件通过宿主 DeepSeek 生成七个页面并附加固定 Contact Us,导出含八页面及导航菜单的 Matrixify XLSX,模型使用宿主账号用量,导出在本地完成。

  3. GitHub · 灵魂体仓库59

    zhihu-ai-studio 开源:自托管 AI 内容创作与知乎运营工作台

    作者开源 zhihu-ai-studio,一个部署在自己服务器上的 AI 内容创作与知乎运营工作台,覆盖选题、写作、独立审稿、图文核验、发布与复盘全流程。项目内置 LLM Wiki 写作参考库,基于本地词法检索提供有来源、可链接的写法笔记,初稿须记录借鉴卡 ID 和迁移方式;支持多模型流式对话、长文分节写作与持久化 Markdown 知识库,默认关闭自动发布。

    推荐理由:开源的自托管 AI 写作到知乎发布全流程工程,从选题、LLM Wiki 参考检索到独立审稿和发布核验都有可借鉴的具体做法。

10月21日周三
  1. Reddit · r/LocalLLaMA55

    作者用单张 RTX 5090 跑通 DeepSeek V4.1 Flash 1017 并与 llama.cpp 对比速度

    /u/jesdga95 在自研推理引擎 Basalt 中跑通 DeepSeek V4.1 Flash 1017(Unsloth UD-IQ1_S),硬件为 RTX 5090 加 RTX 5060 Ti 16 GB 和 128 GB DDR5。107 GiB 专家全部放内存、5090 作热门专家缓存时解码 53.6 tok/s,让 5060 Ti 计算部分专家后达 63.5 tok/s,同硬件同量化的 llama.cpp --fit 基线约 20 tok/s;6.2k 提示词 prefill 为 610 tok/s。支持工具调用、图像和最高 1M 上下文(1M 提示词约 26 分钟),greedy 输出与 llama.cpp 在全部测试提示词上一致,尚无 PPL/KLD 数据。

  2. Reddit · r/LocalLLaMA29

    开发者自制 DeepInfer 逐行代码交互式讲解站点,助你读懂 DeepSeek 开源推理引擎

    一位开发者针对 DeepSeek 开源推理引擎 DeepInfer(基于 commit 9bd9cf2)构建了交互式逐块代码讲解静态站点,用 Python 脚本从官方仓库抽取代码引用并配上简短说明,内容覆盖 paged KV cache、speculative decoding 和 model workers 在生产环境中的实现,可作为阅读官方仓库的配套学习指南。

  3. GitHub · 灵魂体仓库41

    PromptCraft(wewe29/ai-prompt-enhancer)开源:Windows 本地 AI 提示词增强器

    PromptCraft 是一款面向 Windows 10/11 的本地 AI 提示词增强器,通过用户自己的 API 生成可编辑主提示词,最多进行三轮澄清。v0.3.2 人工盲评中 48 个单元 0 个判增强回答更好,56.3% 判原文更好;v0.3.5 换用 DeepSeek-V4.1-Flash 底模后 60 条样本档位判断 60/60 恰当、指令越权 0 例。项目采用 GPL-3.0 许可证开源,已加固导入凭据与本地数据安全。

  4. GitHub · 去对齐工具与仓库49

    GitHub 开源工具 casebase:驻留 Mac 刘海区的本地资料收纳与问答助手

    GitHub 开源的 casebase 是一款驻留在 Mac 刘海区的资料收纳工具,可拖入文件、用 ⌘F1 保存选中文本、⌘F2 截图或录制会议,由 LLM 自动生成标题、摘要、标签并归类。资料本地存储于 SQLite,问答带引用来源;会议经本地 oMLX 转写并生成待办,还可通过 casebase-mcp 供 Claude、Codex 等 MCP 客户端检索记录和管理待办。分析由 DeepSeek 驱动,可选 Google API key 启用 Gemini embeddings 语义搜索,需 macOS 14 及以上 Apple Silicon,采用 GPL-3.0 许可。

  5. AIHOT · 精选63

    DeepSeek 开源 DeepInfer 推理框架,披露单集群 155T tokens/日与约 80% 推理毛利

    DeepSeek 在 PyTorch Conf 期间开源 DeepInfer,即支撑 V4.1 Flash 的生产推理栈。该框架基于 vLLM 定制,支持 NVIDIA SM100 与华为昇腾 950,并配套发布 deepseek-recipe。

    推荐理由:DeepSeek 放出生产级推理栈本身罕见,单集群吞吐与推理毛利数字可作推理成本侧的参照。

  6. GitHub · 灵魂体仓库48

    seo-agent:基于 DeepSeek-V4.1-Flash 的闭环 SEO 审计 Agent

    开源项目 seo-agent 是一个针对 pilih.pics 的智能体式 SEO 审计工具,自行决定审计页面、用 LLM 判断内容质量、生成并应用修复后再复测。在 deepseek-ai/DeepSeek-V4.1-Flash 驱动下,1 次迭代将审计得分从 88.1 提升到 96.1,独立审计器验证为 93.2 → 96.9(+3.7)。停/续决策由图路由器掌控,模型为 deepseek-ai/DeepSeek-V4.1-Flash,支持本地审计和独立审计两种模式,每次运行都附带 trace 追踪记录。

10月20日周二
  1. Reddit · r/LocalLLaMA57

    BigMoeOnEdge 作者展示自适应流式优化器,可在消费级硬件上运行大型 MoE 模型

    BigMoeOnEdge 作者发布自适应流式 Planner,作为 llama.cpp 之上的资源调度层,在手机、Mac、Windows 笔记本等设备上运行远超内存的 MoE 模型,并提供 OpenAI 兼容本地服务器。实测 Qwen3.6-35B-A3B 在 12GB Android 手机上解码 10 tok/s、NPU prefill 100-300+ tok/s,16GB Mac 上 Planner 将解码从 7 提升到 25-30 tok/s、2000-token prompt 从 21 秒降到 3.4 秒;DeepSeek V4 Flash 284B 在 12GB 手机上 1 tok/s。作者考虑向 llama.cpp 提 PR 集成。

  2. GitHub · 灵魂体仓库31

    Ztyss/dsh-llm-provider v0.2.6:接管 DSH 的 pi-ai 桥接、模型选择器与供应商管理

    Ztyss/dsh-llm-provider 发布 v0.2.6,作为 dsh(DeepSeek Harness)插件接管官方 pi-ai 适配器、DeepSeek 适配器、模型选择器与 Models 设置页,提供自维护的 pi-ai 桥接、额度查询与供应商管理界面。插件可从 npm 拉取 @earendil-works/pi-ai 最新版顶替 DSH 自带版本,体检不过自动回退;安装走 main 分支,npm test 含 18 步离线测试链。模型清单支持勾选编辑、就地修改供应商卡片,/model 命令按供应商分组展示候选与额度。

  3. AIHOT · 精选65

    DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer

    DeepSeek 开源高性能大规模推理框架 DeepInfer,采用 Apache-2.0 许可,仓库地址 https://github.com/deepseek-ai/DeepInfer。框架支持优化 kernel、模型与 sampler 运行时,包含 Attention DP、平衡 CP、MoE EP + EPLB 等并行方案,以及零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。

    推荐理由:原文列出了该推理框架的核心并行方案与调度特性,读者可以据此评估它在本地部署和大批量推理场景中的适用性。

  4. GitHub · 灵魂体仓库47

    TinyBOOOOM 发布 dsh-cliproxyapi-pro:一键把 CLIProxyAPI 模型接入 DeepSeek Harness

    开发者 TinyBOOOOM 在 GitHub 发布 DSH 插件 dsh-cliproxyapi-pro,可将 CLIProxyAPI(CPA)的模型一键接入 DeepSeek Harness(DSH)模型选择器,自动同步模型的上下文长度、图片输入与推理档位,并按家族路由到最合适的原生协议:Claude 走 Anthropic Messages,GPT/Codex/Grok 走 OpenAI Responses,其余走 OpenAI Chat。插件支持多个 CPA 账号独立启用停用、单模型参数覆盖,API Key 只存于 DSH 凭证服务,零 npm 依赖,已发布到 npm(如 dsh-cliproxyapi-pro@1.6.0),适用于 DSH 0.2.0-rc.1 及以上版本。

10月19日周一
  1. GitHub · 灵魂体仓库60

    qibin0506 开源 llm_trainer 全流程 LLM/VLM 训练与强化学习框架

    GitHub 仓库 qibin0506/llm_trainer 发布,是一个基于 PyTorch 与 DeepSpeed 的 LLM/VLM 训练框架,覆盖 Pretrain、SFT、DPO/ORPO/SimPO 到 PPO 与 GRPO 的完整流程,支持 8 种 GRPO 变体算子(grpo、bnpo、dr_grpo、cispo、dapo、luspo、sapo、vespo)。框架内置 Muon 优化器自动混合参数分组与多学习率比例调度,通过分块交叉熵、Active Token Filtering 和生成/评估分块降低显存峰值,支持多轮 Agent 强化学习交互与奖励折叠,并适配 NVIDIA CUDA、华为昇腾 NPU、寒武纪 MLU 和 Apple Silicon MPS 后端。

    推荐理由:原文完整给出了从预训练到 GRPO 的训练流程与关键显存优化手段,读者可以对照自己的硬件环境判断哪些模块可直接迁移。

  2. Reddit · r/LocalLLaMA56

    DeepSeek V4.1 Flash 2.61 bpw 量化版在双 RTX 3090 上跑出 26 t/s

    /u/whiteh4cker 基于 u/lxe 的 dsx 推理引擎制作并上传了 DeepSeek-V4.1-Flash-1017-dsx-2.6bit 量化权重,面向编程与智能体任务。该 2.6127 bpw 版本对比 FP4 teacher(KL 0.253、Top-1 78.7%、Perplexity 9.78)与 2.03 bpw 版本,取得 KL 0.1972、Top-1 82.59%、Perplexity 9.3626。在 2x RTX 3090、192 GB DDR5 的硬件上,262,144 上下文加 Engram 表(203 GB,SATA SSD)下生成速度 26 t/s、prompt 处理 170 t/s;187.6 GB 权重从 HDD 加载需 90-110 分钟,引擎尚不支持图像。

  3. GitHub · 去对齐工具与仓库38

    dsh-breaklimit:DeepSeek Harness 破限插件发布,支持补丁管理与提示词切换

    rumoii 发布 dsh-breaklimit 插件,为 DeepSeek Harness 源码版 0.2.1-rc.2(宿主提交 687f282e)管理宿主补丁、提示词与规则集,提供中英文 Web 设置页。补丁逐条选择并在应用前校验文件哈希与命中数,失败时事务回滚;提示词分 recommended 与 unrestricted 两档,规则可激活到 AGENTS.md 或 CLAUDE.md。插件提供 Web、宿主命令与独立 CLI 共用的预检服务,支持 /breaklimit status、on、off 命令,采用 MIT 许可证。

  4. GitHub · 3D 生成新仓库47

    FylarOpen 发布 dsh-fylar-office-editor:为 DeepSeek Harness 带来浏览器内 Office 编辑

    FylarOpen 在 GitHub 开源仓库 dsh-fylar-office-editor 发布插件,可将 DeepSeek Harness(DSH)中 Agent 生成的 Markdown 转为真实 DOCX 文件,并支持在会话内打开、审阅、编辑和下载 Office 文档。插件提供会话内投递卡片、Office 工作区标签页、侧边栏和全屏编辑器,底层由 Fylar Office SDK 驱动,文档解析与编辑全部在浏览器本地完成,首次绘制低于 500 ms、典型打开时间 1–2 s。SDK 为商业授权软件,含累计 3,000 次 Metered Uses 的免费额度,超出后需付费授权。

  5. GitHub · 去对齐工具与仓库37

    deeperseeker:基于 FastAPI 的 DeepSeek 反向代理服务器,兼容 OpenAI 与 Anthropic API

    开源项目 deeperseeker 通过 FastAPI 将 DeepSeek 网页版封装为反向代理,支持 OpenAI 与 Anthropic 两种 API 标准,可用 Docker 或 Podman 部署,默认模型为 v4.1flash(支持视觉)。项目提供多 token 轮换、会话签名恢复、约 393K token 上下文触发摘要滚动等特性,并提醒自动化使用违反 DeepSeek 服务条款,账号可能被封禁。

  6. GitHub · 灵魂体仓库57

    lowtide 发布:DeepSeek Harness 的错峰任务队列插件

    lowtide 是 DeepSeek Harness(dsh)的任务队列插件,可把任务排入队列,在设定的低谷价格时段(默认 19:00 后)自动运行,据称同一批任务成本约为高峰时段的一半。插件提供单次、迭代、采样、评审四种执行策略和 L1 到 L3 三级自治档位,内置五道 preflight 检查、沙箱(approval 设为 never)、每日预算与文件 sha256 锁,含 168 个单元测试和 10 个端到端规格;默认模型为 deepseek-flash(DeepSeek-V4.1-Flash),安装地址 https://github.com/KelaoHu/dsh-lowtide 。

    推荐理由:原文把任务调度、沙箱与预算约束的设计讲得足够具体,读者可以评估无人值守跑批这件事的安全边界在哪。

10月18日周日
  1. Reddit · r/LocalLLaMA59

    DeepSeek v4.1 Flash 1017 量化版发布,M5 Max 上解码可达 20tps

    Reddit 用户 /u/returnity 为 DeepSeek v4.1 Flash 1017(ds4)制作并发布了量化版本,需其 PR 才能加载新的 vision tower。量化沿用 antirez 原版 DS4.1 Q2 配方:2-bit 路由专家加 8-bit 及以上精度处理其余部分,imatrix 基于 1017 构建,并保留原版 FP8 engram 表。模型 wired backbone 超过 150GB,可在 128GB 内存系统上从 SSD 流式加载,M5 Max 上解码速度最高 20tps;约 200GB 的 engram 表按需从 SSD 分页调入。该版本中约 40% 路由专家张量、30% engram 和约 50% vision tower 专家张量有改动。

    推荐理由:作者给出了量化配方、模型体积与 M5 Max 上的解码速度等实测细节,本地部署用户可参考其 SSD 流式加载方案。

  2. Reddit · r/LocalLLaMA60

    2x DGX Spark 本地部署 DeepSeek-V4.1-Flash-1017:TensorFold 比 vLLM kit 快 2.1-2.3x

    /u/shayanx45 在 2x DGX Spark(TP=2 经 CX7 线连接)上以 EXL3 2.9bpw、1M 上下文运行 DeepSeek-V4.1-Flash-1017,实测 TensorFold 较 vLLM kit 快 2.1-2.3x:文本解码 27.0→56.8 tok/s,代码 39.9→92.2 tok/s,64K大海捞针 80.4s→35.9s;8K-64K 冷 prefill 约 2.1-2.2x,1M(1,034,753 tokens)达 1,246 tok/s。提示词缓存可跨重启恢复,18K 对话从 16.8s 降至 2.7s。部署配方与 HF 卡片已公开,引擎来自 bertholomus 的 V4.1 port,host 调优将随下次更新进仓库。

    推荐理由:作者用同一对硬件和同一组提示词给出 vLLM kit 与 TensorFold 的逐项对比数据,可复现的部署配方已开源到 GitHub。

  3. Reddit · r/LocalLLaMA60

    Xolotl 推理引擎在单张 RTX 4090 上以约 27 tok/s 运行 DeepSeek-V4.1-Flash 552B

    开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl,可在单张 RTX 4090(24GB)加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash,权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3,同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。

    推荐理由:作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据,方案可直接复现。

  4. Reddit · r/LocalLLaMA46

    antirez/ds4 项目 PR #1225 增加 DeepSeek V4.1 Flash 1017 支持

    Reddit 用户为 antirez 的 ds4 项目提交 PR #1225,加入对 DeepSeek-V4.1-Flash-1017 的支持,涵盖其新 engrams 和更新的 vision tower,并校验视觉与语言模型文件配对、拒绝混搭。该版本约 40% 的 routed expert 张量、30% 的 engrams 和约 50% 的 vision tower expert 张量有改动,架构不变,ds4 量化的文件可直接加载且对旧 checkpoint 无回归。作者还将上传面向 128GB 内存的 Q2-Q8 混合量化,在 M5 Max 上预计约 20tps 解码。

10月17日周六
  1. AIHOT · 精选37

    DeepSeek 开放自研搜索 API

    DeepSeek 开放自研搜索 API,底层由 AI 原生的 DeepSeek 搜索引擎提供,每天稳定处理数亿次搜索请求。该引擎索引全球千亿级网页、支持多语言,并通过识别机制过滤 SEO 作弊、GEO 操纵和低质 AIGC。使用方式可参考网页搜索与抓取指南。

  2. GitHub · 灵魂体仓库37

    Adelie:基于 PenguinHarness 的本地优先多智能体应用开发平台

    Adelie 是 PenguinHarness(Apache-2.0)的 fork,定位为本地优先的多智能体应用开发平台,覆盖智能体应用的创建、评估、优化与部署。它宣称构建智能体比 LangChain 快 100 倍,在数据分析评测集上准确率最高、成本仅为 Claude Code 的 1/70,并用 DeepSeek V4 Pro 以 ¥0.2 ($0.02) 生成过完整 RAG 问答应用。内置四类插件库和自演进引擎,支持 DeepSeek V4、Kimi K3、GLM 5.3、Qwen 3.8 Max、GPT 5.6、Gemini 3.7 Flash、Claude 5 等模型,发布 Windows 与 Linux 安装包(macOS 暂未构建)。

  3. GitHub · 灵魂体仓库35

    netoger/skachat:支持 TikTok/Instagram/YouTube 下载的 Telegram 机器人,集成 DeepSeek 聊天助手

    GitHub 开源项目 netoger/skachat 是一个 Telegram 机器人,接受 TikTok、Instagram 和 YouTube 视频链接并回传下载文件,同时通过 DeepSeek API(默认 deepseek-flash,关闭思考模式)充当聊天助手。它支持每用户每日消息限额(默认 10 条)、订阅频道门槛、cookies.txt 解决登录和反爬页面,以及并发下载控制(MAX_CONCURRENT_DOWNLOADS=3)等可靠性设置。