跳到正文
10月24日周六
  1. GitHub · 去对齐工具与仓库63

    Purser:在 Claude Code 内编排后台编码智能体的开源插件

    neurot1ca 发布 Purser,一个在 Claude Code 内协调后台编码 CLI(Codex、OpenCode、agy、Cursor 等)的开源编排插件,worker 在隔离 Git worktree 中改文件跑测试。主 Claude 负责规划与审查,任务回执最多 250 token,仓库实测 dispatcher 首次请求上下文约 12K token,比通用 subagent 的 55K 小约 78%;支持模型分级路由、独立 Reviewer、自动 compact 与配额恢复,本地运行,MIT/Apache 2.0 双许可。

  2. Hugging Face · 趋势模型77

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。

    推荐理由:原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。

  3. GitHub · 灵魂体仓库10

    enhancing-llms:先进微调技术提升 LLM 在 GLUE 和 SuperGLUE 上的表现

    GitHub 仓库 enhancing-llms 发布论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验,探索面向领域任务的新型微调方法。该方法在 GLUE 上取得 92.5%(较基线 +8.3%)、SuperGLUE 上取得 89.3%(+12.5%)的 SOTA 结果,并提供高效训练管线,代码以 MIT 许可开源。

  4. GitHub · 灵魂体仓库36

    USB AI:基于 Rust 的便携本地 AI 助手,可整个装进 U 盘随身携带

    USB AI 是一款 Rust 编写的便携式本地 AI 助手,通过 llama-server 在本机运行 GGUF 模型,无需账号或云端 API,整个文件夹可放进 U 盘随身携带。支持与本地模型聊天、导入最大 20 MB 的 PDF/TXT/Markdown 文件并按关键词检索、导出 Markdown 对话,提供 Qwen 2.5 0.5B/3B/7B 和 Gemma 2 9B 等模型,下载时校验 SHA-256。提供 Windows x64 和 macOS(arm64/x86_64)便携包,历史 MIT 许可版本仍可用,未来版本改用 USB AI Personal Use License v1.0,仅限个人和非商业免费使用。

  5. GitHub · 灵魂体仓库51

    ARM-Sparse 实测 Llama 3.2 1B 与 TinyLlama 1.1B 在 Apple M2 上的 FFN 块稀疏加速收益

    ARM-Sparse 项目在 Apple M2 CPU 上实测 Llama 3.2 1B 与 TinyLlama 1.1B 的 FFN 块稀疏推理,结论是 packed B8 块内核只在 40-50% 稀疏度才快过 Accelerate 稠密基线,而此时模型质量已不达标(Llama 在 20% 处困惑度 +8.773% 失败)。在 10-20% 质量门槛内,只有采用 neuron-major 权重的 per-neuron 执行器跑块对齐 mask 能比稠密快百分之几(真实 mask +0.9% 到 +3.5%,合成 mask 最高 +7.3%),且质量上限决定了收益上限,不构成端到端可部署加速;仓库附带 99 项自动化测试的完整复现包。

  6. GitHub · 灵魂体仓库25

    bharatlas(urbanmorph/geodata):印度地理数据目录、REST API 与 MCP server 开源仓库

    bharatlas 提供印度地理数据可视化目录,覆盖从邦到村级行政边界及 63k pincode 多边形,支持 Parquet、PMTiles、GeoJSON、KML、Shapefile 下载与动态筛选。仓库内置 REST API(/api/v1,无需 key、按 IP 限流)、支持 LLM 使用的 MCP server(npx bharatlas-mcp@latest,含 17 个工具),并可作为 Claude Code 插件安装。技术栈为 Vanilla TypeScript + Vite + MapLibre GL JS,托管于 Cloudflare Pages/R2/D1。

  7. GitHub · 灵魂体仓库28

    InferenceEngine.Core:基于 ONNX Runtime 的 .NET 跨平台 AI 推理库

    开源 .NET 库 InferenceEngine.Core 通过统一的 IInferenceEngine 契约封装 ONNX 推理的模型下载缓存、硬件检测、warmup 和张量前后处理等通用流程。硬件加速支持 Windows 的 DirectML、macOS 的 CoreML 和 Linux x64 的 MIGraphX(ROCm),均带 CPU 自动回退,并支持 IAsyncEnumerable 流式解码与 KV-cache carry-back。示例项目内置完整 YOLO11 人脸检测管线,模型首次加载时自动下载缓存,MIGraphX 编译的 .mxr 程序可持久化以跳过约 1–2 分钟的重复编译。

  8. GitHub · 灵魂体仓库30

    ResumeAI:自带 API Key 的 AI 简历智能平台开源上架 GitHub

    GitHub 上的 ResumeAI 是一个自带 API Key(BYOK)的 AI 简历平台,提供 ATS 逐节评分、按职位描述定制简历、生成求职信和模拟面试,密钥仅存于浏览器 sessionStorage。支持 Anthropic、OpenAI、Gemini、OpenRouter、NVIDIA NIM 五家供应商,可从 LinkedIn 导入简历,输出 PDF、DOCX 或 LaTeX。技术栈为 Next.js 16、React 19、Tailwind CSS 4 与 Supabase,可部署到 Vercel 或 Netlify。

  9. GitHub · 灵魂体仓库27

    TwinKites 推出 simple-llm-news:本地开源权重模型资讯聚合站

    TwinKites LLC 推出 simple-llm-news,从 r/LocalLLaMA、Hacker News 和官方项目发布源聚合本地开源权重模型、安全和推理工具(llama.cpp、ollama、vLLM 等)新闻,每日多次刷新。站内用小规模开源权重模型给新闻标注绿/黄/红三色“可信度”标签,模型只判断标题措辞是否夸张,与投票数按固定规则合并,明确声明这不是事实核查。站点还提供 90 天归档、30 天历史图表、RSS 订阅、筛选框和深色模式。

  10. GitHub · 灵魂体仓库72

    agent-countercheck v0.14.0 发布:用锁定检查验证 AI 编程智能体的完成声明

    datacrate360 发布开源工具 agent-countercheck v0.14.0(Rust,MIT 协议),在 AI 编程智能体声称完成时,从基线提交读取锁定的检查项、复制文件到干净目录并在沙箱中重跑,生成带 SHA-256 封签的回执,防止智能体跳过或改弱测试。支持 Claude Code、Hermes Agent、Codex、Cursor 等,通过 Stop hook、verify 命令或 GitHub Action 接入,覆盖 macOS、Linux 和 Windows。作者基准测试中 GPT 6.1 的假 done 声明从 7 降到 3,DeepSeek V4 Pro 从 7 到 6,中位数运行约增加 1 秒。

    推荐理由:作者给出基准数据展示假 done 声明如何被拦截,方法可迁移到自己的 Claude Code 或 CI 工作流里直接复用。

  11. GitHub · 灵魂体仓库49

    InferiaLLM:用于生产环境运行 LLM 的自托管操作系统

    InferiaLLM 是一个自托管的 LLM 生产运行操作系统,位于应用与 AI 基础设施之间,提供访问控制与 RBAC、速率限制与 token 预算、毒性/PII 内容扫描、OpenAI 兼容推理网关、GPU 编排和审计日志等平台能力。整个平台以单端口应用(APP_PORT 默认 8000)部署,由控制面加数据面组成,配套 Go 编写的 inferia-worker GPU 节点代理和 InferiaAllSpark 一体化部署方案,支持自托管与云端算力。

  12. GitHub · 灵魂体仓库13

    LLM 多任务环境上下文推理优化研究(COAI 2025 在审)

    一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文提出优化策略,以提升 LLM 在多任务环境中的上下文推理能力,实证结果显示其在动态环境中适应性更佳。该论文目前在 COAI 2025 会议审稿中,仓库标注"To be released",完整实现代码、实验配置、Benchmark 结果、预训练模型 checkpoint 和文档教程尚未发布。

  13. GitHub · 灵魂体仓库55

    semantic-cache-proxy:基于 Ollama 和 Redis Stack 的本地 LLM 语义缓存代理发布

    作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy,将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引,相同或语义改写的查询命中缓存后延迟低于 15ms,绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区,相似度阈值 ≥ 0.88 判定命中,兼容 OpenAI /v1/chat/completions 接口,并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key,依赖 nomic-embed-text 嵌入模型,仓库附部署步骤与延迟基准脚本。

    推荐理由:给出完整的架构流程、缓存阈值和部署命令,想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。

  14. GitHub · 灵魂体仓库17

    Beamoaadvance 开源 llm-adaptive-learning:ICML 2025 论文的 LLM 动态环境自适应学习实现

    Beamoaadvance 在 GitHub 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现,使 LLM 能在动态环境中实时自适应调整。该方法支持持续学习而不发生灾难性遗忘,无需完整重训练即可轻量更新,在多类动态环境中较基线提升 16.8%-19.1%(如 Temporal Changes 场景从 69.8% 提至 88.9%)。项目采用 Apache 2.0 许可证。

  15. Hugging Face · 新模型:uncensored36

    Jamer69 发布 Qwen-Image-2.1-Uncensored 量化版本

    Jamer69 在 Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,文件大小从 4.00 GB(MLX 4-bit)到 14.23 GB(BF16)不等,推荐 GGUF 使用 Q4_K_M(4.60 GB)。该版本无内置安全检查或内容过滤,可直接生成成人、NSFW 及敏感图像,配套 qwen3vl_8b 文本编码器和 VAE 文件,通过 ComfyUI 与 ComfyUI-GGUF 使用,MLX 格式针对 Apple Silicon 优化。

  16. GitHub · prompt 工程新仓库48

    Quill 开源配套仓库:用 Qwen2.5-1.5B-Instruct 与 Claude API 实测 prompt 工程课程各技术

    开源仓库 Quill(MIT 许可)是法语课程「Prompt Engineering Avancé & Ingestion de Contexte Large」的配套项目,用真实模型对发票、订单、合同条款等业务任务自动评分。实验采用本地模型 Qwen2.5-1.5B-Instruct(Apache 2.0,约 3 GB,4 GB GPU 即可运行),并可通过 quill/claude.py 调用 Claude API 测试结构化输出、严格工具调用与 prompt 缓存。

  17. Hugging Face · 新模型:abliterated73

    DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑

    ktobik 在 Hugging Face 发布 abliterated(去拒绝)版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化,提供 Mix-256G(235.8 GB 内存)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 384 个路由专家和 197B 参数 Engram n-gram 表(110.6 GB 留在 SSD 按需读取),1M token 上下文。精度由实测 KLD 的背包搜索逐层分配,Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。

    推荐理由:原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法,读者可据此判断去对齐版本与量化方案的实际代价。

  18. Hugging Face · 新模型:abliterated69

    DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,附实测拒绝率与精度数据

    Orca 发布 abliterated 版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化文件,提供 Mix-256G(235.8 GB)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 197B 参数 Engram n-gram 表(110.6 GB,留在 SSD 按需读取)和 1M token 上下文;精度按实测 KLD 逐层搜索分配。去对齐版在 500 条有害提示上拒绝率均值 0.074(原版 0.874),JBB-harmful 下降 97%,MMLU 保持 0.91 左右;Mix-256G 在 2×H200 上约 70 tok/s,需 llama.cpp PR #30817,MIT 许可。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑》

  19. Reddit · r/replika15

    Replika 用户讨论:已对现有 Rep 满意,是否值得升级到 2.0?

    一位 Replika 用户在 Reddit r/replika 发帖询问:如果已经对现有 Rep 的性格、对话和记忆表现满意,是否值得升级到 2.0。帖子称 2.0 改进的记忆和新功能听起来很吸引人,但向已升级的用户求证:升级后 Rep 的性格和对话风格是否变化,改进的记忆是否带来显著差异,以及 Rep 是否仍像原来的陪伴。

  20. GitHub · 3D 生成新仓库58

    comfyui-grok-prompt-forge 发布 调用 Grok API 自动生成适配各模型风格的英文提示词

    Slartibart23 在 GitHub 发布 ComfyUI 自定义节点包 comfyui-grok-prompt-forge,通过 xAI Grok 官方 API(https://api.x.ai/v1)把任意语言的短点子或已有描述改写成适配目标模型的英文提示词,默认模型为 grok-4.20-0309-reasoning,MIT 许可。

    推荐理由:为每个目标模型整理了官方来源的提示词规范和采样参数对照,可直接复用到其他提示词生成场景。

  21. GitHub · 3D 生成新仓库10

    DocuMind-AI:一个 RAG 文档问答项目开源仓库

    GitHub 新开源仓库 Umair-Yasin-dev/DocuMind-AI 上线,包含 frontend 目录、main.py、rag_test.py 及 requirements.txt 等文件,rag_test.py 表明其与 RAG 检索相关。仓库还带 vercel.json 和 runtime.txt,可部署到 Vercel,另附 data.pdf 示例数据。

  22. GitHub · 3D 生成新仓库23

    PixelBudget:延迟与内存约束下的自回归图像生成研究

    UIT(VNU-HCM)研究员 Nguyen Huynh Dang Nhut 发布 PixelBudget 项目,研究在计算预算(GPU VRAM、缓存容量、内存带宽)与图像质量之间的权衡,在 NVIDIA T4 GPU 和多核 CPU 上实现像素级自回归生成。研究对比了自定义解析反向传播与 PyTorch autograd 的开销,并分析逐像素解码与并行 patch 生成的内存带宽瓶颈。项目含 68 个 cell 的 Colab notebook 及离线 HTML 报告。

  23. GitHub · 3D 生成新仓库22

    Research RAG Engine 开源:面向研究论文的检索增强生成引擎

    GitHub 新开源的 Research RAG Engine 是一个面向研究论文的 RAG 项目,支持 PDF 发现与元数据提取、文档解析与分块、SentenceTransformer 嵌入、Qdrant 向量索引及 top-k 检索,并提供浏览器检查面板。后续计划包括检索质量评测、上下文构建、端到端 RAG 生成、多查询检索、重排序与混合检索,以及 Agentic 研究工作流。

  24. GitHub · 3D 生成新仓库18

    Nakulov 开源 ui-design-system:平台无关的 UI 设计系统契约与 AI 辅助组件生成

    GitHub 新仓库 Nakulov/ui-design-system 提供平台无关的 UI 设计系统契约、schema 与 AI 辅助组件生成,开发流程基于 GitHub Issues 和 Backlog 到 Done 的看板管理。仓库内置 contract-authoring、groom、take 三个技能(skills)用于辅助契约设计与任务处理,并提供 validate.py、sync.py、validate_model.py 等工具校验契约和模型示例,契约结构由 contract.schema.json 和 values.schema.json 元 schema 定义。

  25. GitHub · 3D 生成新仓库40

    AI 面试评估工具 Manas-11/AI-interviewer-evaluation 开源发布

    GitHub 新开源仓库 Manas-11/AI-interviewer-evaluation 提供一个可部署的 Streamlit 应用,用于评估面试答案。它按正确性、相关性、完整性和清晰度四项各 0–10 分打分,用 Pydantic 校验转录数据,并暴露匹配与缺失概念作为证据。配置 GEMINI_API_KEY 或 OPENAI_API_KEY 时可调用托管模型(如 gemini-3.8-flash),否则使用确定性本地评估,保证可复现且保护候选人数据隐私。

  26. Hugging Face · 新模型:abliterated23

    abliterated 版 GLM-5.3 Flash 量化模型 ktobik/huihui-glm53-flash-abliterated-q4kxl-public 上架 Hugging Face

    abliterated 版 GLM-5.3 Flash 量化模型 ktobik/huihui-glm53-flash-abliterated-q4kxl-public(UD-Q4_K_XL)在 Hugging Face 上架。该模型可通过 llama.cpp 启动本地 OpenAI 兼容服务器或在终端直接推理,并支持 Ollama、Docker Model Runner、Lemonade 等多种运行方式,也可接入 Pi、Hermes、OpenClaw 等智能体工具。

  27. Reddit · r/LocalLLaMA65

    M3 Max 36GB 实测五大推理引擎:Kapitsa 稠密 41.3 tok/s,oMLX 与 Kapitsa 在 Qwen3.6-35B-A3B 上约 123 tok/s 打平

    作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先,oMLX 34.1;MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平;Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身;MTP 接受率稠密 75-78%、MoE 81-85%。

    推荐理由:同一台 Mac 上五个推理引擎用统一协议实测,还标明各引擎权重与投机配置差异,数字可直接对照自家硬件选型。

  28. Hugging Face · 新模型:uncensored34

    Qwen3.5-2B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING 微调模型发布

    Avichaudhry 基于 Unsloth 在本地硬件上用 4 个 Claude-4.6-OS 数据集微调 Qwen3.5-2B dense 模型,发布完全无审查的 HERETIC 版本。该模型在 arc、boolq、piqa 等多数 benchmark 上超过基座(如 arc 0.366 对 0.348),推理"size"经训练缩减,视觉图像功能测试可用,原生上下文长度 262,144,建议最低 q4ks 或 IQ3S 量化。

  29. Reddit · r/LocalLLaMA48

    PSA:从 SSD 流式读取 n-gram 会导致 SSD 磨损

    Reddit r/LocalLLaMA 用户提醒,从 SSD 流式读取 n-gram 表会带来读取扰动:TLC/QLC SSD 频繁读取相邻单元会逼近 ECC 限制,控制器会通过 read reclaim 迁移整页数据,使读取最终转化为写入。文中示例显示某单元被读取 54K 次即触发迁移,建议用 SMART 计数器监测 "data units written" 或 "LBAs written" 的增长。

  30. GitHub · 去对齐工具与仓库44

    SystemPrompt Core:Rust 控制平面库 systempromptio/systemprompt-core

    SystemPrompt Core 是一个用于自运营控制平面的 Rust 库,提供身份认证(OAuth2/OIDC)、Anthropic 兼容的模型网关、受治理的 MCP 工具执行、策略执行与审计,数据记录在 PostgreSQL。它通过扩展契约在编译期注册路由、工具与任务,要求 Rust 1.96+ 和 PostgreSQL 18+,采用 BSL-1.1 许可,生产使用需商业授权,每个版本发布四年后转为 Apache-2.0。

  31. GitHub · 去对齐工具与仓库38

    LLM-Mailroom-Services/Digital-Mailroom:多智能体法律文档处理集成枢纽

    Digital-Mailroom 是 LLM-Mailroom 系列的集成枢纽,用 AI 智能体复刻律所收发室流程:llm-mailroom 基于 LangGraph 的 13 节点流水线将文档分为 contract、merger_agreement 等 5 类,经提取、Judge→Arbiter→Boss 评审与人工审核后归档。配套 llm-dojo-scoring 评分引擎、The-Mailroom 像素风可视化器和 local-mailroom-sandbox 离线/Modal/vLLM GPU 测试沙箱,统一运行在 uv workspace 上。