跳到正文
10月25日周日
  1. GitHub · 灵魂体仓库38

    LLMstats:每 3 小时自动实测 OpenRouter、Groq、Mistral 免费额度模型

    开源项目 LLMstats 通过 GitHub Actions 约每 3 小时自动对 42 个免费额度模型跑基准测试,覆盖 OpenRouter 13 个、Groq 5 个和 Mistral 24 个模型,结果发布到交互式公开仪表盘。架构 fork 自 NIMStats,无需服务器,只需配置三个 API 密钥并开启 GitHub Pages,5 分钟内即可搭建;数据以 SQLite 存储在仓库中,浏览器端经 sql.js 完全客户端查询。

  2. GitHub · 灵魂体仓库38

    calm-sea-psy/llm-playground-wiki:基于韩语维基百科的 RAG 问答项目

    calm-sea-psy 的 llm-playground-wiki 是一个韩语维基百科 QA 产品,解析并精炼维基 dump 建立检索引擎,提供 /search 搜索接口和基于维基依据、以 SSE 流式返回答案的 /ask 聊天机器人。检索采用 BM25(Kiwi) 与 Dense(Qdrant) 混合加 reranker,答案由 Ollama 生成,并依据 reranker 分数在 grounded、partial、refuse 三档间选择回答策略,Python 3.13、uv 和 Docker 部署。

  3. GitHub · 灵魂体仓库53

    overwater v2.9.13 发布,扫描代码库中的 LLM 调用点并给出省钱建议

    MithrilBytes 发布 overwater,一个扫描代码库找出过大或过贵 LLM 调用点的工具,按公开模型目录给出每月美元计的更便宜候选,如将 claude-opus-5 调用替换为 claude-haiku-4-5 从约 $91/mo 降到 $18/mo。每条发现附带 tripwire 条件并可用 eval 生成 A/B 验证脚本;CI 通过基线只拦截新增发现。扫描器不传输代码、不调用模型 API,目录快照内嵌于二进制,可离线运行,支持 macOS/Linux/Windows,MIT 许可,v2.9.13 可用 go install 安装。

  4. GitHub · 灵魂体仓库61

    janis:面向 MLX 的本地推理 Go 模块发布

    guregodevo 发布 janis,一个用 Go 编写的开源权重模型本地推理模块,定位为 MLX 版 Ollama:Apple Silicon 上跑 MLX 后端,其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点(http://127.0.0.1:8090/v1),支持流式 chat completions、tool calls、运行时切换已加载模型,权重从 huggingface.co/mlx-community 拉取,支持 Qwen3、Qwen3.5、Gemma 系列,另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。

    推荐理由:作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起,说明了本地部署的工程取舍与用法。

  5. GitHub · 灵魂体仓库60

    dsh-qq-bot 0.10 发布:一套插件接通 OneBot 11/12、Satori、Milky 与 QQ 官方机器人五种协议

    arrow1031 维护的 dsh-qq-bot 插件更新到 0.10.x,把协议层拆为 lib/bridge 与 lib/adapters,一套插件接 OneBot 11/12、Satori、Milky、QQ 官方机器人五种协议。要求 DSH ≥ 0.1.7,0.2.1-rc.3 已实测适配;插件带 8 个 Agent 工具、三路权限与访客工具闸,共 628 项测试全部通过,MIT 许可,安装跟随 main 不再锁 tag。

    推荐理由:README 把架构、协议适配和全部测试用例写得很细,想给 DSH 接 QQ 机器人可以直接照着部署。

  6. GitHub · 灵魂体仓库62

    pi-vcc 发布:Pi 编程智能体的算法式会话压缩工具

    作者发布 pi-vcc,为 Pi 编程智能体提供不调用LLM的算法式会话压缩,靠提取与格式化生成摘要。与 Pi 默认方案相比,中位体积缩减97.6%,压缩延迟中位1ms,成本为零,输出确定性一致;基于1884个真实会话实测。压缩后的历史可通过 vcc_recall 按关键词或正则搜索回原始会话文件,摘要按最多6个分段加简要转写组织,多次压缩时分段合并并重新封顶。安装方式为 pi install npm:@sting8k/pi-vcc 或从 GitHub 安装,MIT 许可。

    推荐理由:作者用1884个真实会话给出压缩率与延迟的量化对比,读者可据此评估这套无LLM的上下文压缩方案是否值得装。

  7. GitHub · 灵魂体仓库28

    Sentinel:面向自有代码的防御性安全扫描工具(LLM 编码插件)

    GitHub 开源项目 Sentinel 是一个为 LLM 编码工具打造的防御性安全扫描插件,提供 MCP server 和独立 CLI,含 335 个测试,MIT 协议发布。当前版本尚无漏洞检测层,只能做仓库画像(语言、框架、授权面等)并从 2 个 pack、13 条技术的注册表中筛选适用技术,输出 markdown 与 SARIF 2.1.0 报告,且每份报告都明确声明哪些代码未被检查。工具强制范围与授权校验:仅扫描本地或你有权访问的 GitHub 仓库,只读不写入,需逐目标输入确认;项目还公开了自身 105 个待修复问题的 backlog,下一步将开发检测层。

  8. GitHub · 灵魂体仓库50

    微软开源 DebugMCP:让 AI 智能体直接操控 VS Code 调试器

    微软开源了 DebugMCP,一个让 AI 编码智能体接管 VS Code 调试器的 MCP 服务器,可自主设断点、逐行单步、检查变量和求值表达式,兼容 Claude Code、Cursor、Codex、GitHub Copilot 等 MCP 助手。支持 Python、JS/TS、Java、C/C++、Go、Rust 等 VS Code 调试语言,100% 本地运行,默认绑定 127.0.0.1 并带凭据脱敏。2.4 版新增独立 DebugMCP CLI,可经 npm 安装并直连显式配置的 DAP 适配器,无需 VS Code。

  9. GitHub · 灵魂体仓库41

    grassmoth:面向纵向数据端到端贝叶斯因果推断的 LLM harness

    GitHub 开源项目 grassmoth 是一个面向纵向数据端到端贝叶斯因果推断的 LLM harness,目标是基于医疗记录、聊天记录等数字痕迹数据集辅助个体层面的最优决策。系统采用连续-离散非线性状态空间模型,由 agent 通过 edit_question、edit_model、fit、simulate 等七个公开动作完成研究,兼容 codex 与 claude-code,用 jax 在 GPU 上做并行时间粒子平滑实现分钟级精确推断。其设计面向 Apple Health、Oura、23andMe、Google Takeout、ChatGPT/Claude 日志等可通过 DSAR 获取的数据集。

  10. GitHub · 灵魂体仓库65

    开源工具 QuAiWei v0.9.76 发布,主打中文 AI 文本去味与检测闭环

    fengxingxuerong 在 GitHub 发布 QuAiWei v0.9.76,一个中文 AI 文本去味工具,本地引擎离线零成本运行,可接 OpenAI 兼容 LLM 和朱雀等外部检测器做闭环验证,提供 Web、Electron 桌面、CLI 与 agent skill 多种形态。作者诚实声明内置评分与官方分无标定关系、凭证覆盖率 0/18,并给出真人文本 aiScore 中位 35 等实测数据,提醒不要用内置降幅判断安全性。

  11. Reddit · r/LocalLLaMA62

    24GB M5 MacBook Air 上跑 Qwen3.8-Flash-Next Q2 量化,解码达 49 t/s

    /u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化,24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存,其余从 SSD 按需流式读取,支持 256K 上下文,解码平均 48.8 t/s(stock 为 28.8)。

    推荐理由:作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案,给出解码速度、预填充和 LiveCodeBench 对照数据。

  12. GitHub · 3D 生成新仓库25

    AgentGraph:新一代有状态多智能体 AI 编排引擎开源发布

    开发者 Yahya Ali Khan 在 GitHub 开源 AgentGraph,一个面向有状态、循环、多智能体 LLM 系统的高性能编排框架。它提供基于图的类型化控制流、MemorySaver/SqliteSaver/PostgresSaver 持久化检查点、条件路由和 human-in-the-loop 暂停恢复能力,原生支持异步与流式输出。项目采用 MIT 许可证,要求 Python 3.10–3.12,附多个可运行示例。

  13. GitHub · 3D 生成新仓库39

    Spaceforge:面向 Obsidian 的间隔重复与 AI 学习插件

    Spaceforge 是一款 Obsidian 插件,将笔记转化为学习工具,提供 FSRS 与增强版 SM-2 间隔重复算法、AI 生成选择题、单笔记自适应导师 Study 模式和内置番茄钟。AI 出题支持 OpenAI、OpenRouter、Ollama、Gemini、Claude 和 Together 等多种模型,复习结果会回写间隔重复计划。插件已可从 Obsidian 社区插件市场安装,并附带日历、进度统计与 Anki 风格复习日志。

  14. GitHub · 3D 生成新仓库65

    WebMorph 开源:把任意网站转成 AI 智能体可调用的只读工具与技能

    GitHub 仓库 WebMorph 发布,用 LLM harness 把任意网站转成经回放验证的只读工具与技能,并通过 Model Context Protocol 提供给智能体,无需浏览器。确定性阶段收集站点证据,模型提出能力后生成工具并对真实站点回放,只保留通过五项校验的工具;安全策略、证据记录和回放裁决始终由代码控制。在 60,000 URL 的汽车交易站点上产出 25 个工具,24 个验证通过,其中 11 个纯 HTTP,列表查询不到一秒而浏览器回退需三到五秒;harness 已用 gpt-5.5 在 fixture 站点实测,3 个提议能力全部验证通过。

    推荐理由:把网站确定性验证成只读 MCP 工具的完整方案,安全策略、证据记录和回放裁决都留在代码里,思路可直接迁移。

  15. GitHub · 3D 生成新仓库43

    v0.diy:开源可自托管的 v0.app 克隆项目发布

    v0.diy 是一个开源、可自托管的 v0.app 克隆,基于官方 v0 Platform API v2 构建,用户可用自己的 API key、数据库和域名描述应用并生成实时预览。项目采用 Next.js 16、React 19 与 PostgreSQL(Drizzle ORM),API key 以 AES-256-GCM 加密存储,支持 Mini、Pro、Max、Max Fast 模型选择、一键部署到 Vercel,许可证为 MIT。

  16. GitHub · 去对齐工具与仓库25

    Basira 多摄像头视频智能项目:检测、跟踪与区域分析

    GitHub 上的 Basira 项目面向多摄像头视频智能,提供检测、跟踪与区域分析,并用 VLM 验证告警、支持自然语言视频搜索和智能体操作员 copilot。项目分 Perception、Intelligence、Product 三层,感知层用 Ultralytics YOLO 与 ByteTrack,智能层结合 CLIP + pgvector 与 LangGraph agent + MCP 工具,产品层含 FastAPI、Streamlit 仪表盘和一键 Docker Compose。所有存储快照均做人脸模糊,采用 MIT 许可证。

  17. GitHub · 去对齐工具与仓库37

    @y0ngha/siglens-core:开源股票与加密货币技术分析 TypeScript 库

    @y0ngha/siglens-core 是 SIGLENS 背后的开源 TypeScript 分析引擎,面向美股、韩股和加密货币,从价格数据计算 RSI、MACD、Bollinger Bands 等指标,检测 K 线与图表形态并生成交易信号,还构建 0 到 100 的恐惧与贪婪指数。AI 分析提示词由纯函数组装,模型回答经 JSON 修复与校验后才展示,模型注册表覆盖 Anthropic、Google、OpenAI 和 DeepSeek。该库不含下单与交易功能,仅产出分析结果。

  18. GitHub · 去对齐工具与仓库57

    Swedish Embedded 开源 brain:单个 Rust 程序完成模型推理、训练与量化部署

    Swedish Embedded AB 开源 brain,用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型,并通过 OpenAI 兼容 API 提供服务,无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型,内置 wgpu、vulkan、cuda、cpu 四个后端,可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中;每个导入模型与参考实现逐步对比测试,训练用有限差分数值校验,后端间做一致性检查,许可证为 Apache-2.0。

    推荐理由:一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务,不依赖 Python 或 PyTorch,并给出后端一致性等自检测试。

  19. GitHub · 去对齐工具与仓库63

    maniesh-lab 开源 lookup-agent:先查证再回答的聊天机器人

    maniesh-lab 在 GitHub 开源 lookup-agent,一个先查证再回答的聊天机器人,通过 search_docs、query_database 和 convert_currency 三个工具查询政策文档、Postgres 数据库和实时汇率 API,每个答案附带来源。基于 LangGraph 和 FastAPI,LLM 调用经 Steadfast 可靠层走 Groq 或 OpenAI,SQL 工具用四层只读限制保证安全。作者用 openai/gpt-oss-20b 和 120b 在 Groq 上做了 41 题、15 题评测,v1/v2 提示词均通过全部常规题,困难集 v2 得 14/15;v2 多用约 16% token 但对无答案问题不再空查。

  20. GitHub · 去对齐工具与仓库40

    max-bitons/LLM-Test:在 NVIDIA GB10 / Blackwell 上用 vLLM 部署 LLM 推理、图像生成与安全压测的开源项目

    GitHub 项目 gb100test 在 NVIDIA GB10 / Blackwell GPU 上整合三类服务:通过 vLLM OpenAI 兼容 API 运行 Gemma 4 26B NVFP4、Llama 3.1(默认 8B Instruct NVFP4,上下文 64K)和 Qwen3.5-9B;用 Diffusers 提供支持 SDXL 与 FLUX.2-dev GGUF 的图像生成服务。项目还包含深度 QA 压测、图像生成性能测试及覆盖 10+ 类别的 100 个违禁主题安全边界测试脚本。

  21. GitHub · 去对齐工具与仓库34

    wudahua/MCP_CREO_MechDog:连接 Creo Parametric 的本地 Windows MCP 建模服务

    MCP_CREO_MechDog 0.5.3 是一个本地 Windows MCP 服务,通过官方 C/C++ Toolkit 按需启动或连接 Creo Parametric 9/10/12,注册 91 个工具,可创建、查询和修改原生参数化特征,覆盖草图、拉伸、旋转、孔、钣金、装配、工程图等。服务基于官方 Python MCP SDK 2.3.0 与 stdio 传输,采用 MIT 许可证,需 Windows x64、Python 3.12+ 及 PTC 许可,由本地 AI 客户端调用。本版新增再生失败特征级诊断、revolve.axis 非法结构预检等修复,Creo 9 编译探测修复已实现但实机未验收。

  22. GitHub · 去对齐工具与仓库53

    EasyGateway 开源:Go 编写的个人 AI 基础设施网关

    nightgopher 发布 EasyGateway,一个用 Go 编写的个人 AI 基础设施网关,把 Claude Code、Codex CLI、Pi 等 AI 应用统一接入单一入口,支持 OpenAI Chat Completions、Anthropic Messages、OpenAI Responses 三套协议。核心功能包括按 text/vision 等能力调度模型并多级 fallback、账号渠道复用上游订阅额度并在 429 时自动换号、按模型与渠道折算美元成本、技能市场、跨客户端记忆层与常驻助理,附带 MyGo 原生 Go 桌面管理端(无 WebView、无 Node.js)。

  23. GitHub · 去对齐工具与仓库41

    Kindgi 开源 SDK 仓库发布:定义 Agent、工具、流程与 guardrails

    Kindgi 在 GitHub 发布 Apache-2.0 许可的公共 SDK 包 @kindgi/*,用于定义 agents、tools、flows 和 guardrails,可通过 TypeScript 调用 Kindgi 部署,或用 Python 编写 pack 的工具与 guardrail 检查。项目处于 preview 状态,API 可能在 0.x 版本间变动,需 Node 22.12 及以上和 Docker,运行时以容器镜像形式随 kindgi dev 启动,并提供支持 Anthropic、Azure OpenAI、Amazon Bedrock、Gemini 及 OpenAI 兼容的 ModelProvider 适配器,尚未接受外部贡献。

  24. GitHub · 去对齐工具与仓库63

    best-engine-ai-helper 开源:按硬件自动选型本地 LLM/VLM 并经质量门验证

    Warith Harchaoui 发布 best-engine-ai-helper,一个纯 Python 工具,可检测本机内存(Apple Silicon 统一内存、NVIDIA/AMD VRAM 或系统内存),从内置模型目录中选出得分最高且装得下的本地 LLM 或 VLM,并通过 Ollama 拉取。选型综合结构化输出能力、内存适配、任务基准和带宽估算的吞吐四要素,pull 与 validate 会用 Ralph Loop 文本缺陷检测和 Ralph Eyeball Loop 视觉缺陷检测两道质量门验证模型,通过后才写入环境文件;实测吞吐数据存入 measurements.yaml,在 Apple M2 Max 上将 gemma3:12b 的估算误差从 64-118% 降到 17-25%。

    推荐理由:原文给出了选型四要素与实测校准数据,读者可以据此理解本地模型自动选型工具的取舍逻辑。

  25. GitHub · 灵魂体仓库41

    Cultural Crash-Test 代理发布:用 Qloo 口味数据为发布方案做文化压力测试

    Cultural Crash-Test 是一个为 Qloo Agentic Hackathon 2026 打造的智能体,把发布方案中的每个选择当作假设,用 Qloo 的口味数据测试,找出依据最弱的选择并替换后重新测试全案。三套方案独立并行:用户选择、纯 LLM 草案与证据优先方案,每个决策都追溯到可记录的 Qloo 查询。伦敦实测案例中,一名街头服饰品牌的方案从 4 项选择仅 1 项有依据修复为 4/4。

  26. GitHub · 灵魂体仓库34

    unimail-ai-assistant:用 Gemini 2.5 Flash 解析大学邮件并自动推送 Telegram 与 Google Calendar

    HamzaElshammaa 在 GitHub 发布 unimail-ai-assistant,一个自动化学术邮件助手,可绕过老旧 Exchange 防火墙抓取未读邮件,用 Gemini 2.5 Flash 将其解析为含 course_code、event_type、ISO 日期和 urgency 的结构化 JSON。项目提供两种抓取策略:基于 exchangelib 的 EWS 方式和逆向 OWA 会话并提取 X-OWA-CANARY CSRF token 的爬虫方式,再通过自托管 n8n 工作流(Phase2.json)按 urgency 过滤后向 Telegram 发送通知并在 Google Calendar 创建测验与截止日期事件。

  27. GitHub · 灵魂体仓库59

    Braid 开源多 LLM 智能体图编排库,支持并行任务与 Git worktree 隔离

    Epsirom 在 GitHub 开源了 Braid,一个把多个 LLM 智能体编排成图的 TypeScript/JavaScript 库:独立任务并行执行,输出按边传递给依赖任务,每个智能体拥有独立上下文。支持 decision 节点分支、固定上限的循环、运行中编辑与暂停,为编辑代码的智能体提供独立 Git worktree,并由显式 integrate 节点把结果写回工作区。可用作核心库(npm 包 @chrok/braid,需 Node.js 22+),也可作为 Pi(需 1.2.0)或 DeepSeek Harness(0.2.0-rc.2,DSH 支持自 Braid 0.3.1 起)的插件,带实时面板。0.5 API 为实验性,项目采用 MIT License。

  28. GitHub · 灵魂体仓库58

    开源工具 claude-crew 发布:用一个看板编排一组 Claude Code 智能体跑完 SDLC

    pranjal-joshi 发布 claude-crew v0.8.0,一个纯标准库 Python 工具,用看板调度多个 Claude Code 智能体按 SDLC 各阶段(planner、builder、tester、reviewer 等 9 个角色)协作。每个智能体在自己的 git worktree 分支工作,完成任务后生成决策单供人审批合并;支持工作流链、定时与事件触发、预算控制和 boss 聊天调度。无需额外依赖,克隆后 python server.py --demo 即可体验。

    推荐理由:单一 Python 文件即可编排多个 Claude Code 智能体分阶段协作,每个智能体用独立 git worktree 隔离,可直接克隆复现。

  29. GitHub · 灵魂体仓库34

    FreeLLMAPI Proxmox LXC 一行命令安装:统一免费 LLM 网关

    FreeLLMAPI 是一个统一免费 LLM 网关,聚合 34 个免费 Provider、635 个模型端点,月流量 7.4B tokens,提供 OpenAI 兼容的 /v1 端点,支持智能路由、Failover 和加密 Key。该 GitHub 仓库提供一行命令安装脚本,可在 Proxmox 无特权 LXC 中以 Node 22 原生运行(无 Docker),Web UI 与 API 监听 3001 端口,systemd 服务设置 Restart=always 且容器 onboot: 1。脚本幂等,重跑自动走 git pull 更新路径,支持 reboot 自启验证与 --debug 完整日志排错。

  30. GitHub · 灵魂体仓库54

    Ternair 发布,一条 pip install 运行 BitNet b1.58 模型并提供 OpenAI 兼容 API

    Ternair 是一个纯 Python/PyTorch 的三值权重推理实现,pip install 即可加载 microsoft/bitnet-b1.58-2B-4T 并启动 OpenAI 兼容 HTTP 服务,无需 C++ 构建。2B-4T 模型文件从约 5 GB 压缩到 1.1 GB(packed 存储 1.6 bits/value),CI 验证与 HuggingFace 参考实现输出一致性 Pearson 0.9958、top-1 一致率 85.7%;缺点是 CPU 推理速度约为 FP16 基线的 0.09×,WikiText-2 上 PPL 反而低于 FP16 基线(13.30 vs 23.37)。

  31. GitHub · 灵魂体仓库57

    开源编码智能体长期记忆工具 Mímir 发布 0.2.0

    mojoaar 在 GitHub 发布自托管编码智能体长期记忆工具 Mímir 0.2.0,单容器部署,通过 MCP 和 REST 存取记忆,按仓库路径作用域提供决策、约定与经验。记忆以路径树存储,每条含标题、摘要和正文,人类可读,不存不可检查的嵌入向量;提供七个 MCP 工具,支持关键词与语义混合搜索,学习用 DeepSeek 或 OpenCode 等自有模型,语义搜索默认可用 Ollama 的 nomic-embed-text(768 维)。尚未支持备份、MFA、审计页面、记忆浏览器、i18n 和导入已有仓库。

    推荐理由:自托管编码智能体长期记忆方案,路径树加人类可读存储,不依赖黑盒嵌入,给出了完整的部署与接入方法。

  32. GitHub · 灵魂体仓库48

    Hostwarden:为 AI 编码助手加上系统管理安全护栏的开源规则集

    Hostwarden 是一套规则,把 Claude Code、OpenCode 等终端 AI 助手变成谨慎的 sysadmin,支持 Linux、FreeBSD 和 macOS 目标,Windows Server 仅可经 SSH 报告。它逐条解释并等待用户批准每条 SSH 命令,备份配置、支持 dry-run,并对分区表、磁盘擦除、sshd 配置和关机等操作硬性封禁。每个服务器的信息存于独立的 git 记忆仓库 memory/,团队可通过私有 remote 共享;项目接续 Stefan Wintermeyer 的 Heinzel,在 GitHub 组织 hostwarden 下维护。

  33. GitHub · 灵魂体仓库56

    llmf 0.5.1 发布:免密钥调用免费 LLM 端点的 Python 库与 CLI

    MoonLite-Br 发布 llmf(llmfree)0.5.1,一个仅依赖标准库的 Python 库和 CLI,可一行代码调用无需 API key 的 OpenAI 兼容公开端点,失败时自动在多提供商间回退。支持 fast/best/code/vision/reasoning 等模型别名、流式输出、OpenAI 形状接口、llmf serve 本地服务,以及 doctor 健康探测(约 24h 缓存);0.5.0 新增 ch-at、rewind-ai 提供商和仅手动指定的 nottrack。该项目 MIT 许可,README 提醒端点非官方免费、可能随时失效,勿发送敏感数据,桌面端和 Termux 均可运行。

    推荐理由:README 写清了多提供商回退机制、别名路由与 CLI 用法,读者可以直接pip装上试,也能了解免费端点不稳的风险提示。

  34. GitHub · 灵魂体仓库37

    ContextCompressor:调用 OpenAI API 前压缩源代码与提示词的开源工具

    GitHub 开源项目 ContextCompressor 是一个纯客户端开发者工具,在请求 OpenAI API 前压缩源代码和提示词,去除注释、多余空白、空行和 console 日志等零价值内容——这类开销可占 gpt-4o 等模型 token 载荷的 20% 到 40%。它提供基于 gpt-4o、gpt-4o-mini、gpt-4-turbo 现行定价的实时 token 与费用节省分析,支持可配置的压缩规则,全部处理在本地完成,不向外部服务器传输代码或 API 载荷。

  35. GitHub · 灵魂体仓库55

    Decidra:面向 vllm-sr/d3-turbo 的专用 CUDA 推理引擎

    juanqui 发布 Decidra,一个专为 26.1B 混合决策模型 vllm-sr/d3-turbo 打造的 CUDA 推理引擎,HTTP 服务与 CUDA 引擎在单个 Rust 进程内,运行路径无 Python、PyTorch 或 vLLM。状态编码一次后所有问题从缓存分叉,64 问基准比 vLLM-SR 快 2.4–5.2 倍,c8 下最高 5.2 倍吞吐;支持 RTX 4090、H100/H200、RTX PRO 6000,W4A8 视觉包需 24 GB 显存,MIT OR Apache-2.0 双许可,代码在 https://github.com/juanqui/decidra。

    推荐理由:原文给出了与 vLLM-SR 同硬件同检查点的完整对比矩阵和校验方法,读者可以按自己的 GPU 档位查找对应延迟与吞吐数据。