跳到正文
10月23日周五
  1. Reddit · r/LocalLLaMA67

    RTX 4080 32GB 改装卡(AD102)解锁后 FP16/BF16 GEMM 性能翻倍

    /u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡(AD102)算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作,自定义 EFI 在 Windows 启动前应用改动并交还控制权,单卡在 Windows 11 下即可使用,无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS(N=4096 时分别 +99.71% 和 +100.73%),N=8192 时分别 +59.85% 和 +71.48%,FP32 基本不变。

    推荐理由:作者实测给出了修改前后的 GEMM 跑分对比,FP16/BF16 翻倍而 FP32 基本不变,数据具体可复现。

  2. GitHub · 3D 生成新仓库59

    aurora-rust-engine 发布纯 Rust 多模态推理引擎,覆盖图像文本语音音乐生成

    GitHub 仓库 lecyberbill/aurora-rust-engine 发布了一个完全用纯 Rust 编写的 AI 推理引擎,零 Python 依赖,支持图像(SDXL、FLUX.1/FLUX.2、Z-Image Turbo)、文本(Qwen、Llama、DeepSeek 等的 CausalLM)、语音(Whisper、Parler-TTS/Kokoro)和音乐(ACE-Step 1.5)四类生成。

    推荐理由:README给出了 RTX 4070 Ti 与 AMD RDNA4 上的实测吞吐和显存数据,可以借此评估纯 Rust 零 Python 推理栈的可行性。

  3. GitHub · 去对齐工具与仓库25

    MicroLLM:从零训练的 50M 参数小模型开源项目

    MicroLLM 是一个在 50M 参数预算内从零构建训练的 decoder-only Transformer 语言模型,实际可训练参数为 48,779,904(约 48.78M),采用 GQA、RoPE、RMSNorm、SwiGLU 和 1,024 token 上下文,基于 FineWeb-Edu 数据训练。项目已完成 100M token 训练,val loss 3.8326、困惑度 52.6029,评测接入 HellaSwag、ARC-Easy、PIQA、WinoGrande,并开发基于 FastAPI 的本地推理后端。

  4. GitHub · 去对齐工具与仓库18

    NanoGPT:跟随 Karpathy 视频从零实现 GPT 的完整教程仓库

    GitHub 仓库 NanoGPT 依据 Andrej Karpathy 的 "Let's build GPT" 教程,分 6 个阶段从 Bigram 基线逐步实现完整 Transformer。项目在 Tiny Shakespeare 数据集(约 1.1MB、65 个字符)上训练,NanoGPT 经 5k 步训练 GPU 下训练/验证损失约 1.48/1.49,Bigram 基线约 2.50/2.51,代码含 self-attention、多头注意力、FFN、残差与 LayerNorm 等模块,可直接运行。

  5. GitHub · 去对齐工具与仓库41

    personal-ai:基于 LangGraph 的本地多智能体全栈代码生成项目

    GitHub 开源项目 personal-ai 使用 LangGraph 1.2.10 与本地 LLM(Ollama + Qwen2.5-Coder 14B、BGE-M3 嵌入)构建 PM/DB/Backend/Frontend/Review 多智能体流水线,从需求分析生成 Spring Boot 3、React/TypeScript 产物并以 Markdown 保存。系统将 Domain RAG 与 Project Context 分离以复用已有实现,目前为只读代码生成,尚不支持自动应用文件或构建部署。

  6. GitHub · 去对齐工具与仓库30

    Juridix(Ktulu-Analog/juridix):主权式法国法律 AI 助手桌面应用 1.1.4 发布

    Ktulu-Analog 发布开源桌面应用 Juridix 1.1.4,一个基于 Tauri v2、Rust 与 React 的法国法律 AI 助手,可直查 Légifrance 与 JUDILIBRE 官方来源并做文档摘要、对抗分析与要点提取。核心检索、RAG 与数据全部本地运行,对话存于 SQLCipher 加密 SQLite、向量库用本地 Qdrant,默认接入 DINUM 的 Albert,也支持任意 OpenAI 兼容端点。新版增加情报综述、引用核查、后台法律监控、官方 Légifrance/Judilibre MCP 服务器及 RGPD 导出删除权,支持 Linux 与 Windows。

  7. GitHub · 去对齐工具与仓库44

    idc-wrapper:开源 IDC 智能体封装层,为 Cursor、Claude Code、LangGraph 等运行时提供有限推理预算与停止规则

    开源项目 idc-wrapper 实现“不可逆决策坍缩(IDC)”协议,通过有限资源预算 R、append-only 日志和最优停止规则封装大模型智能体,让模型在继续推理的边际价值不足时停止,避免编造答案比承认无知更廉价。项目提供 Python 与 Rust 实现、LangGraph 适配器及 Cursor、Claude Code、OpenAI Agents 的配置包,mock 基准显示平均步骤从 8.0 降至约 3.4、平均 token 从约 44.8 降至约 26.6,但作者强调这些数字来自可复现的 mock LLM,尚非真实 LLM 的实证验证。

  8. GitHub · 去对齐工具与仓库23

    AutoVault 文档站点仓库:本地优先的 agent skills 保险库,当前版本 v0.3.0

    autoworks-ai 开源的 AutoVault 文档站点仓库,AutoVault 是一个本地优先(local-first)的 agent skills 保险库,当前公开版本为 v0.3.0。站点基于 VitePress 构建,记录了已验证的安装路径:npm 包 @autoworks-ai/autovault(需 Node 24+)、shell 安装脚本 autovault.sh、Homebrew tap 及 GHCR 容器镜像,部署文档仅覆盖已验证的 Docker 和 Railway 路径。

  9. GitHub · 去对齐工具与仓库66

    mu 编码智能体发布:用小型 judge 模型接管例行决策

    qybaihe 发布 mu,一个基于 pi 的编码智能体,把上下文管理、命令安全、完成判断等例行决策交给小型 judge 模型,在 agent 循环的 40 个决策点上作答,主模型专注写代码。默认 judge 为 TypeSafe 托管的 Jev,也可换成本地 Laya(322M 参数)或自家的 mude 1.0(2B 参数,基于 Qwen3.5-2B 微调,MIT 协议,含 MLX 8-bit 版);测试日志裁剪在最长失败日志上无损压缩 51% 字符,所有判定写入本地 ledger 可审计,支持 shadow 模式对比 judge。提供命令行与桌面应用,作者注明尚无与 pi、Claude Code 或 Codex 的端到端对比。

    推荐理由:原文给出了40个决策点的完整清单和测试日志裁剪的实测数据,读者可以据此评估这套judge架构的适用范围与局限。

  10. GitHub · 去对齐工具与仓库50

    GitHub 开源 harness-lab:用约 80 行 Python 可视化 AI agent 的 harness 循环

    GitHub 上的开源项目 harness-lab 用约 80 行 Python 实现 agent harness 循环(发送对话与工具列表、执行工具、回传结果并重复),并通过网页展示每次模型调用、工具运行和 token。默认通过 Claude Code(claude -p)复用其订阅获得回复,另支持 Anthropic API、DeepSeek 付费 API 及 Olloma/LM Studio 本地模型,仅限 Windows。项目提供 27 个分五级的引导实验,覆盖控制与安全、成本、模型调优和多 agent 任务等。

  11. GitHub · 去对齐工具与仓库51

    Sisyphus 开源去中心化算力网络原型,用 AI 协调多机计算

    sisyphus-network 在 GitHub 开源了 Sisyphus,一个用 SISY 代币协调独立参与者闲置 CPU 和 GPU 算力的去中心化网络原型。V0 无区块链和代币,先验证 2 到 3 台可信机器协同完成一次计算的闭环:AI 根据自然语言规划任务,协调节点调度分发,结果汇总后再决定下一步。节点以 Go 编写的 sisyphusd 守护进程运行,支持分布式与整机两种调度模式、基于 IPFS 的私有内容寻址存储、复制验证抽查、Ollama/OpenAI 模型共享和 MCP 服务器,桌面客户端为 Electron + React,附带 transcode 视频转码等实际负载示例,项目状态为早期原型,长期目标是无需信任的 Proof of Useful Work 机制。

  12. arXiv · cs.CL45

    多模态大语言模型检索头的更全面研究

    一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现:以视听输入为对象,发现检索头在新模态中保持稀疏并跨模态大量共享,在 18 个语言、视觉语言与全模态模型中,全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%,但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力,Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分,并在三个模型族上改善文档检索。

  13. Reddit · r/LocalLLaMA36

    Qwen3-0.6B 被转换为 MoE 版本

    Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构,发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本,这是其首个 chat 风格转换。因 Qwen3 无 shared expert,作者采用 pseudo-shared expert 部分恢复质量;评测显示 Wiki ppl 从 23.88 升至 26.98,各质量指标均差于原模型,0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s,GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。

  14. Reddit · r/LocalLLaMA62

    Reddit 用户实测 gpu-unlock 模块解锁 RTX 3090 半速 tensor 计算的真实收益

    /u/UltramanQuar 在 r/LocalLLaMA 实测 Zagitta 的 gpu-unlock 内核模块,称 NVIDIA 出厂的 3090 tensor 计算以 fp32 累加半速运行(驱动显示 FMLA32 = 1/2),加载模块后冷启动显示 FMLA32 = full。

    推荐理由:作者实测了 gpu-unlock 模块对 3090 的 BF16 提速,并给出真实推理收益远低于 TFLOPS 峰值的具体数据。

  15. GitHub · 去对齐工具与仓库20

    JDChi 开源 aliyun-acp:大模型方向 ACP 本地刷题题库

    GitHub 用户 JDChi 发布 aliyun-acp 仓库,提供大模型方向 ACP 认证的本地刷题网页与 Markdown 题库,题目按课程内容整理、非官方真题。含 C2—C4 各 75 题(单选 50、多选 25)及综合卷,80 分仅为练习参考线;双击 llm_acp/刷题.html 即可离线使用,错题自动进错题集,进度存于浏览器本地。

  16. GitHub · 去对齐工具与仓库41

    lanzm 开源 NAS-Agent-Butler:轻量 NAS / Linux 私有云 AI 智能管家

    开源项目 NAS-Agent-Butler 提供 NAS / Linux 私有云智能管家方案,不跑本地重型模型,内存仅占 80MB,无需显卡,通过 WebSocket 长连接接入飞书,零公网端口暴露。它支持文字、语音、图片多模态交互,遵循 MCP 规范提供系统负载、Docker 治理、磁盘 SMART 巡检、天气查询和 WOL 唤醒等工具,支持 YAML 自定义定时任务,基于 MIT 许可证开源。

  17. GitHub · 去对齐工具与仓库39

    Nomi:Mac 上的课堂实时转录与翻译开源应用

    开源应用 Nomi 在 Mac 上提供课堂实时语音转录与翻译,译文显示在原文下方,支持中文、英语、日语等 9 种语言,可离线运行。它还能收集课堂真实提问并作答、检索历史讲座记录、生成 90 分钟讲座的要点总结,并导入 PDF 和幻灯片。应用采用 SwiftUI 与 Rust 构建,基于 MIT 协议免费开源,需 Apple silicon(M1 或更新)和 macOS 26 或更高版本。

  18. GitHub · 去对齐工具与仓库27

    Candela:在笔记本上微调的开源金融分析 LLM 项目

    Candela 是一个正在开发中的开源金融分析 LLM 项目,基于 Gemma 4 12B 的 4-bit QAT 权重用 QLoRA 微调,可回答美股相关问题,所有数字均来自带日期和来源的工具调用。项目还包含从零训练、35M 参数起步的 Candela Spark 模型族,由 Go 网关提供服务,并通过终端风格 PWA 和 three.js 3D 视图探索模型内部,采用 Apache-2.0 许可证。

  19. GitHub · 去对齐工具与仓库66

    toolism 开源:精简 LLM 工具定义 token 并提供 CI 防回潮门禁

    开发者 rakeshnitb23 在 GitHub 发布 toolism,通过删除 JSON Schema 中冗余的 title、anyOf 包裹、default: null、未用 $defs 等内容,在不改变工具调用有效性的前提下削减工具定义 token。在含 159 个工具、来自 13 个主流 MCP 服务器的 14 套工具集上,默认 safe 规则共削减 37.4% token,其中 Notion 服务器降幅达 73%。工具提供 measure、slim 命令、hypothesis-jsonschema 等价校验、GitHub Action 门禁,以及 OpenAI、Anthropic 和 MCP 格式的 Python API,采用 MIT 许可证。

    推荐理由:作者给出 14 套共 159 个工具的实测数据,默认规则平均削减 37.4% 的工具定义 token 且保证校验等价,可直接套用。

  20. GitHub · 去对齐工具与仓库56

    Synaplan 开源自托管团队 AI 平台发布,Apache-2.0 协议一键部署

    metadist 在 GitHub 发布 Synaplan,一个 Apache-2.0 协议的自托管团队 AI 平台,整合聊天、文件知识库、网站挂件、WhatsApp 与邮件等渠道。支持 OpenAI、Anthropic、Gemini、Groq、Mistral、xAI、HuggingFace 及本地 Ollama 等多家模型并可按任务切换;AI planner 将请求拆解为任务图并按步骤分配模型以降低成本,每条回答显示实际花费。README 提供与 Open WebUI、LibreChat、Dify 的对比表,标准安装约 4 GB,支持 Docker、离线内网 TLS、Linux 服务器与 Kubernetes 等多种部署方式。

  21. GitHub · 灵魂体仓库21

    boywithdragons 推出基于 RAG 的 HDFC 共同基金 FAQ 问答助手

    开发者 boywithdragons 在 GitHub 发布了一个基于 RAG 的共同基金 FAQ 问答助手,覆盖 5 只 HDFC Mutual Fund scheme 及一篇资本利得声明文章,每个答案只引用一个来源页面。系统在调用 LLM 前先做 guardrails 拦截建议、预测、比较和个人数据,检索用 sentence-transformers/all-MiniLM-L6-v2 嵌入、Chroma 向量库、TOP_K 5,生成走 Groq API 的 qwen/qwen3.8-27b,输出上限 300 token、超时 20 秒。项目需 Python 3.14,仅限事实问答,不提供投资建议。

  22. Reddit · r/LocalLLaMA30

    Meta Expert 论文:跨层专家共享提升 MoE 存储与检索效率

    论文提出跨层共享的 Meta Expert,替代主流分层架构中各层独立的 Local Expert,以降低专家间冗余。在激活数量与专家粒度不变的情况下,模型仅用 70-80% 的专家即可匹配 Vanilla MoE 的性能,并取得更低的 cross-entropy loss 和更高的下游任务准确率;理论分析还显示 Meta Expert 为隐状态提供了更灵活的残差通路,提升信息检索效率。

  23. Reddit · r/SillyTavernAI14

    别人说 Gemma 4 31B 时到底指哪个版本?

    一位拥有 4080 Super(16 GB VRAM)和 32 GB DDR5 内存的用户发帖询问:大家推荐 Gemma 4 31B 时具体指哪个模型。他在 HuggingFace 上找到 "google/gemma-4-31B-it",但听说原版因审查机制不适合 ERP 用途,想知道该如何挑选合适的 Gemma 4 31B 版本。

  24. GitHub · 去对齐工具与仓库22

    posit-dev 开源 ai-lib:为 Posit Assistant 提供 LLM provider 基础设施

    posit-dev/ai-lib 是一个 npm-workspaces monorepo,为 Posit Assistant 提供平台无关的 LLM provider 基础设施,包含 ai-provider-bridge(插件注册表、模型客户端支持 14 家 provider)、ai-config 和 ai-credentials 三个包。ai-config 在读取 providers.json 时按 provider 块粒度容错,无效配置被跳过而不影响有效配置,程序化写入则保持严格;ai-provider-bridge 通过 v* 标签触发 GitHub Release 发布 tarball。

  25. GitHub · 去对齐工具与仓库45

    aixell:自托管个人新闻 Feed 开源项目发布,可选接入 Hermes Agent 对话

    独立非官方项目 aixell 发布,这是一个自托管单用户 Web 应用,可从 RSS/Atom、YouTube、GitHub releases、Hacker News、Bluesky、X 等来源生成个性化新闻卡片 Feed,支持 PWA 安装与 Web push。服务端为纯 Node.js(无运行时依赖),要求 Node.js 22.5+,默认端口 8300;可选通过任何 OpenAI 兼容端点配置 LLM,并提供与开源 Hermes Agent 的流式对话。

  26. GitHub · 去对齐工具与仓库46

    itanaka66/AI-PMO-Platform:用 LLM 与工具联动自动执行 PMO 业务的平台

    开源项目 AI-PMO-Platform 将 PMO 业务知识编码为可执行模板,通过结合 LLM 调用与团队已有工具实现自动运行,仅靠 CLI 即可工作。全部功能免费,采用 GPL-3.0 许可证,允许商用、修改与再分发(须同样以 GPL-3.0 公开并附源码);架构目标是带经营者/PM 审批环节的自主 PMO 循环,含 WBS 生成、风险预测、再计划与 Project Digital Twin 等模块。

  27. GitHub · 去对齐工具与仓库48

    Watch2Whoop:给 AI 用的自托管身体数据层,任何 AI 可通过 MCP 读写

    Watch2Whoop 是一个自托管脚手架,把手表数据、饮食、训练、化验、日记等结构化存在自己的服务器上,任何 AI(Claude、ChatGPT、Codex、Gemini、DeepSeek 等)都能通过 MCP 读写,数据留在用户手里、AI 可随时更换。项目目前处于 alpha 阶段,先支持 Apple Watch,需 Docker(Compose v2)和 python3 ≥ 3.9,本地可用 60 天合成数据运行;服务器端采用 AGPL-3.0,iOS app 和快捷指令采用 MIT。

  28. GitHub · 灵魂体仓库60

    budget-rag v1.0.0 发布:成本感知的 RAG 检索框架

    GitHub 项目 mylgtab/budget-rag 发布 v1.0.0,实现成本感知的长文档问答检索,简单问题走 BM25 便宜路径,难题才升级混合检索加重排与大模型。在 200 条改写问句评测中,级联策略用 47% 的成本拿到深检索 99.5% 的召回;附录还给出分块粒度、双索引自动选择、两层缓存(LongBench 30 条冷缓存 46.6 秒降到热缓存 4.6 秒)与预算档位对比,完整实验记录与复现脚本见 docs/report.md 和 make check。

    推荐理由:作者公开了完整实验数据和复现脚本,还保留了负结果,想比较不同 RAG 检索策略成本与召回的读者可以直接参照。

  29. GitHub · 3D 生成新仓库21

    groundwater-neural-operator:地下水神经算子研究代码仓库开源

    GitHub 新仓库 liufan612/groundwater-neural-operator 发布了水头条件化两阶段地下水流与溶质运输研究的代码。仓库包含合成数据生成、五种神经网络 backbone(unet、fno、afno、uno、deeponet)、两阶段与双分支训练,依赖 MODFLOW 6.8.0 和 Python 3.11,数据按 70/20/10 划分训练、验证与测试场景,训练权重和数据集需按仓库命令本地生成。

  30. GitHub · 3D 生成新仓库56

    TrustLens 开源:AI 与 LLM 深度伪造检测及数字证据分析工具

    GitHub 新仓库 TrustLens 发布,用于 AI + LLM 深度伪造检测与数字证据分析,整合了 Facebook $1M Deepfake Detection Challenge 夺冠的 EfficientNet-B7 人脸交换检测器(numpy 重实现、不依赖 PyTorch,约 267 MB)、视觉 LLM 和十余项取证测试,可检测照片、视频、语音、截图、通知和活动海报。工具用英文和印地语输出证据说明,对照 VTOP 官方记录核查声明,提供 Ed25519 签名的 PDF 报告与哈希链保管日志,附带 Chrome 扩展和手机扫码使用。作者同时列出每项测试在真实数据上的实测表现与角色限制,如真实照片基线假阳性 0/4,并明确说明无法检测克隆语音等局限。

  31. Hugging Face · 新模型:uncensored50

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 发布 GGUF 与源码

    Aayushbhandari12 在 Hugging Face 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored(release #1),GGUF 与源码均已开放。该模型称核心指标较 Qwen 3.8 27B 提升,ARC-C 高出 141 分,4 bit 性能约为 8 bit 的 99%,思考 token 降至原来的 1/2 到 1/10。后续 Qwen3.8-27B-TWIN-TURBO 版本计划约 2026 年 9 月 10 日发布。

  32. GitHub · 灵魂体仓库57

    humanizer 仓库发布 2.12.16,提供五个可安装的 AI 写作技能

    GitHub 仓库 apoapostolov/humanizer 发布 2.12.16,为 AI agent 提供五个可单独安装的写作技能:humanizer 1.7.10(保留作者声音改写)、simple-english 2.4.2、ai-writing-detector 1.2.2、writing-prose 1.2.4 和 writing-voice 1.1.0。2.12.16 让目录保护作者判断、排版符号不影响评分,检测器输出为 signals_only,不作为作者归属证明;技能可复制到 ~/.claude/skills/ 等目录或用 npx skills 安装,MIT 许可。

    推荐理由:仓库把去 AI 腔改写拆成五个可单独安装的技能,并明确检测器只报信号不作作者判定,安装与脚本用法都可照抄。