跳到正文
10月24日周六
  1. GitHub · 灵魂体仓库46

    quark28/mini-llm:一个可完全在端侧运行的 19.8M 参数掩码扩散对话模型

    开发者在 GitHub 开源 mini-llm,一个从零用 PyTorch 构建的 19.8M 参数掩码扩散编码器–解码器 Transformer 对话模型,目标是在手机端侧运行。模型在 1.47B token 的 FineWeb-Edu 上完成预训练,并经过 SFT 与 GRPO 强化学习,上下文窗口 256 token,词表 12 288(byte-level BPE)。项目还包含一个实验性 Thinking 模块及参数量匹配的对照组,生产级 C++ 推理运行时仍在计划中。

  2. GitHub · 灵魂体仓库65

    开源 Python 库 wardowl 2.0 发布,为 RAG 提供权限感知检索

    wardowl(2.0 前名为 needtoknow)是一个开源 Python 库,把 OpenFGA、OPA、Cerbos 等权限系统接入 pgvector、Qdrant、Pinecone 等向量库的搜索内部,每次命中再复核并故障时关闭,保证 LLM 提示词只含用户有权读取的文档。基准测试在 57,600 个真实 chunk 上经 33,000 次检索无一次越权返回,pgvector 上 recall@10 保持 0.949 以上;百万 chunk 场景下中位延迟 3 到 21 ms,每秒最多可服务 126 次请求。

    推荐理由:项目给出基准数据说明在搜索内做权限过滤可保住召回率,对搭建企业内部 RAG 的团队是可参考的做法。

  3. GitHub · 3D 生成新仓库16

    开源项目 Ai-pdf-chatbot:基于 Python 与 Streamlit 的 PDF 问答聊天机器人

    GitHub 新仓库 Ai-pdf-chatbot 是一个基于 Python 和 Streamlit 的应用,可对上传的 PDF 文档提问并由生成式 AI 作答。它先提取 PDF 文本,再通过语义搜索和 FAISS 检索相关信息,并使用 OpenAI 与 RAG(检索增强生成)生成基于上下文的答案,让文档分析更快更简单。

  4. GitHub · 3D 生成新仓库43

    mini-deepinfer:面向 Ascend 910C 的教学推理引擎开源发布

    AkiYangDev 开源 mini-deepinfer,一个参考 DeepInfer 设计、面向 Ascend 910C 的教学推理引擎,已在 Ascend 910C 上用项目自身前向计算跑通 Qwen3.5-2B 文本生成,教程共十四课。v0.2 把跨轮执行接到文本生成入口,v0.3 开发版新增可控 greedy 投机实验。验证包括短上下文数值与状态处理,跨轮分块九轮十四组 logits 最大差约 2.67e-5,项目采用 Apache-2.0 许可证,与 DeepSeek、SGLang 及华为无官方隶属关系。

  5. GitHub · 3D 生成新仓库25

    slgao/landlord_system 开源:面向德国房东的物业管理与报税工具 Dachly

    GitHub 开源项目 slgao/landlord_system(Dachly)面向德国房东,覆盖租房全流程:租金跟踪、Nebenkostenabrechnung 杂费分账(支持按天、按人比例计算)、Mahnung 催款 PDF、Anlage V 报税辅助(§11 EStG 收付实现制)及资产负债表。其 Ask Dachly 是只读 AI 助手,基于 Groq 的 gpt-oss-120b 通过只读工具查询用户数据,并用 e5 嵌入 + Chroma + BM25 混合 RAG 检索德国租房法条文,答案逐 token 流式输出并附带引用。技术栈为 Next.js 14 + FastAPI + PostgreSQL 16,通过 Docker Compose 一键部署。

  6. GitHub · 3D 生成新仓库51

    LydiaTools 开源 llm-endpoint-doctor:接入前一键体检 OpenAI 兼容端点

    LydiaTools 在 GitHub 发布 llm-endpoint-doctor v0.6.0 alpha,一条本地命令即可在接入前检查 OpenAI 兼容 API 的 base URL、模型 ID、鉴权和首次 chat 响应。可选检查覆盖模型目录、流式、JSON mode、工具调用、视觉输入和独立图像生成模型,每项各发一个请求;报告排除 API key、prompt 和响应内容,无第三方依赖,支持 CI 环境变量读 key,并提供 Groq、Gemini、OpenRouter 的免费档接入配方和本地 mock 端点演示。

  7. GitHub · 3D 生成新仓库48

    alshahia 开源 book_gen:基于 OpenCode 的多智能体图书生成编排套件

    GitHub 新仓库 book_gen 发布,内置 agents-manager 控制器(OpenCode + 1 个 master + 9 个专家智能体)和 7 阶段图书生成流水线,可从提示词直接生成或翻译图书。book-kit 提供 18 个模板、7 个纯标准库脚本和 63 个 pytest 测试,支持阿拉伯语等翻译模式、双遍审校与 RTL 导出,以便携 ZIP 形式分发。

  8. GitHub · 去对齐工具与仓库8

    Sreenivas-Sadhu-Prabhakara/llm-eval-trace 仓库:基于 Astro Minimal 模板的入门项目

    GitHub 仓库 Sreenivas-Sadhu-Prabhakara/llm-eval-trace 使用 Astro Starter Kit: Minimal 模板,可通过 `npm create astro@latest -- --template minimal` 创建。项目含 src/pages/index.astro 页面结构,支持 `npm run dev` 在 localhost:4321 启动本地开发服务器、`npm run build` 构建到 ./dist/,README 未包含 LLM 评测相关的具体功能说明。

  9. GitHub · 去对齐工具与仓库56

    SynaptoCore:Rust 编写的本地长期记忆服务器,让本地模型学会、验证并遗忘知识

    开发者 Ramón Burgos 发布 SynaptoCore,一个用 Rust 编写的本地服务器,通过 SQLite 中的知识图谱(主体→关系→客体)为 Ollama 本地模型提供长期记忆,回答时引用来源并标注知识出处。记忆不足时经 SearXNG 联网检索并引用来源,后台只固化可验证的事实;未使用的推论按来源权重衰减遗忘,用户教授的内容永久保留。支持 JSONL 批量导入(含 Wikidata 脚本)、深度研究流程、任意精度计算器、JSON 声明式 HTTP 连接器、REST/SSE/WebSocket 接口和 CLI,默认模型为 qwen3.5:2b-q4_K_M,MIT 协议开源。

    推荐理由:原文完整公开了记忆图谱的存储结构、来源追溯和遗忘规则,读者可以据此评估这套本地长期记忆方案是否适合自己的部署场景。

  10. GitHub · 去对齐工具与仓库31

    vajithhusan-eng/workshop:桌面 AI 编排器、量化研究框架与隐私优先分析终端

    该仓库汇集多个自包含工程项目:Agora 是基于 Flutter 桌面端、通过 Chrome DevTools Protocol 驱动真实 Chrome 的多 AI 辩论编排器,flutter test 296 项通过,打包为 12 MB AppImage;RGX 是量化研究框架,在零优势零假设下必须报告无优势,含 47 项不变量测试加 6 项零对照测试共 53 项通过;OMNIVEST 是默认安全模式、拒绝给出投资建议的金融终端,含 143 项后端检查与 165 项 Flutter web 测试。所有项目由统一文档标准和 CI 真实测试套件保障。

  11. GitHub · 去对齐工具与仓库62

    tensai-app 开源 llama.kt:Android 端 Kotlin 绑定 llama.cpp 本地推理

    tensai-app 发布 llama.kt,为 llama.cpp 提供 Kotlin/Android JNI 绑定,可加载任意 GGUF 模型在设备端推理,无需服务器或云端。原生 C++ 引擎提取自 llama.rn 并剥离 RN 层,已在 OPPO / Dimensity 900 上验证,Qwen2.5-0.5B(q4_K_M)CPU 生成约 20 tok/s。

    同一新闻,精选展示《hokanosekai 开源 llama.kt:在 Android 端侧运行 GGUF 模型的 llama.cpp Kotlin 绑定》

  12. GitHub · 去对齐工具与仓库18

    Vhagar181 开源仓库:优化 LLM 在多任务环境中的上下文推理(论文审稿中)

    Vhagar181 上线论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的配套代码仓库,论文正在 COAI 2025 审稿中。该论文提出优化策略以增强 LLM 跨多任务的上下文推理能力,实验显示在动态环境中适应性更优。仓库标注“即将发布”,将包含实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程。

  13. GitHub · 去对齐工具与仓库60

    Phova 开源 uTTT:面向 RTX 5090 的通用测试时训练框架

    Phova 在 GitHub 发布 uTTT(Universal Test-Time Training)框架,覆盖远端元训练、自动化部署与交互式个性化推理全流程,针对单卡 NVIDIA RTX 5090(32GB GDDR7,Blackwell sm_120)做算子级与显存级优化。核心包括跨层共享快权重池与 SwiGLU 解析式块状梯度(用 torch.bmm 一次算出)、双轨 Checkpoint 管理(base_uttt.pt 加 personas/{user_id}_state.pt)与三级 LRU 缓存,个性化通过流式生成、Chunk TTT 更新、惊奇度门控与弹性锚点实现。

    推荐理由:原文给出了从元训练到多租户个性化服务的完整部署链路和指令集,读者可以照着在单卡 RTX 5090 上复现这套测试时训练流程。

  14. GitHub · 去对齐工具与仓库22

    dahchenoor-cmd 开源 AI 红队测试作品集仓库:对抗性机器学习评估与防御实践

    dahchenoor-cmd 在 GitHub 发布 AI 红队测试作品集仓库,系统化整理对抗性机器学习评估、攻击 PoC 与防御缓解措施,覆盖本地及企业级 LLM 架构。仓库包含 10 个模块,从环境搭建到企业模拟审计,基于 Ollama、vLLM 运行 Llama-3、Mistral、Qwen 等开源模型,使用 garak、PyRIT 等工具,并对照 OWASP Top 10 for LLM Applications(2026)、MITRE ATLAS 与 NIST AI 100-2e2025 等标准。所有测试均在本地容器化环境中进行,数据全部为合成数据。

  15. GitHub · 去对齐工具与仓库42

    Vhagar181 开源 llm-adaptive-learning:LLM 动态环境自适应学习实现(ICML 2025)

    Vhagar181 在 GitHub 开源论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments"(ICML 2025)的实现,支持 LLM 实时适应动态环境且避免灾难性遗忘。该方法在多类动态场景上较基线提升 16.8%–19.1%,如时序变化场景从 69.8% 提至 88.9%,采用轻量更新机制无需全量重训,代码以 Apache 2.0 许可发布。

  16. GitHub · 去对齐工具与仓库31

    STE Slicer 7.10 插件 MCP-STE-Slicer:为切片器接入 AI 助手

    hikinokomora 发布面向 STE Slicer 7.10(Stereotech)的插件 MCP-STE-Slicer,添加 AI 助手聊天:用户附上模型与技术任务书或用文字描述需求,助手自动选择 3D 或 5D 打印模式、材料与设置,定向模型、切片并保存项目和 G-code,并解释每项决策。插件通过 OpenAI 兼容 API 连接 LLM,需 Windows 10/11 与 Stereotech Hybrid 530 V5.2.4 打印机,5D 模式需激活 ATSS 许可证。

  17. GitHub · 去对齐工具与仓库31

    ctrlProgrammer 开源 os-agents-evals:一个数据集对比多模型准确率、成本与延迟的 CLI

    ctrlProgrammer 在 GitHub 发布 os-agents-evals,一个用同一数据集对比多个模型准确率、成本与延迟的 CLI。以 Oxford-IIIT Pet 猫犬品种识别为示例(测试集 3,669 张图、37 个品种),20 张图实测中 JEV 准确率 90%、$0.06/1k 查询、p95 延迟 0.32s,Gemini 2.5 Flash 为 95%、$1.64/1k 查询、p95 延迟 4.84s。每个模型使用独立 JSON 提示词,用例与图片不进 git。

  18. GitHub · 去对齐工具与仓库36

    capital-ui-kit:带 Zod 校验的金融科技 React 组件库与提示词生成页面工具

    GitHub 上的 capital-ui-kit 是一套基于 Zod schema 的类型化金融科技 React 组件库,含 CurrencyCounter、PrivacyBadge、DebouncedSearch 等组件及经校验的 JSON 布局渲染器。它支持 bring-your-own-key,从终端用提示词生成页面:模型输出 JSON 布局,经 Zod 校验后渲染或导出 .tsx,失败自动重试一次,支持 Gemini、Claude、OpenAI 兼容 API 及 Ollama 本地模型。项目仍在开发中,CLI 和文档站点在规划中。

  19. GitHub · 去对齐工具与仓库18

    优化 LLM 在多任务环境中的上下文推理:论文代码仓库(待发布)

    John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正在 COAI 2025 审稿中,其代码仓库即将发布。论文提出优化策略以增强 LLM 跨多任务的上下文推理,实验结果显示在动态环境中适应性更优。仓库将包含实现代码、benchmark 结果、预训练模型检查点及文档教程。

  20. GitHub · 去对齐工具与仓库63

    Purser:在 Claude Code 内编排后台编码智能体的开源插件

    neurot1ca 发布 Purser,一个在 Claude Code 内协调后台编码 CLI(Codex、OpenCode、agy、Cursor 等)的开源编排插件,worker 在隔离 Git worktree 中改文件跑测试。主 Claude 负责规划与审查,任务回执最多 250 token,仓库实测 dispatcher 首次请求上下文约 12K token,比通用 subagent 的 55K 小约 78%;支持模型分级路由、独立 Reviewer、自动 compact 与配额恢复,本地运行,MIT/Apache 2.0 双许可。

  21. GitHub · 灵魂体仓库10

    enhancing-llms:先进微调技术提升 LLM 在 GLUE 和 SuperGLUE 上的表现

    GitHub 仓库 enhancing-llms 发布论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验,探索面向领域任务的新型微调方法。该方法在 GLUE 上取得 92.5%(较基线 +8.3%)、SuperGLUE 上取得 89.3%(+12.5%)的 SOTA 结果,并提供高效训练管线,代码以 MIT 许可开源。

  22. GitHub · 灵魂体仓库51

    ARM-Sparse 实测 Llama 3.2 1B 与 TinyLlama 1.1B 在 Apple M2 上的 FFN 块稀疏加速收益

    ARM-Sparse 项目在 Apple M2 CPU 上实测 Llama 3.2 1B 与 TinyLlama 1.1B 的 FFN 块稀疏推理,结论是 packed B8 块内核只在 40-50% 稀疏度才快过 Accelerate 稠密基线,而此时模型质量已不达标(Llama 在 20% 处困惑度 +8.773% 失败)。在 10-20% 质量门槛内,只有采用 neuron-major 权重的 per-neuron 执行器跑块对齐 mask 能比稠密快百分之几(真实 mask +0.9% 到 +3.5%,合成 mask 最高 +7.3%),且质量上限决定了收益上限,不构成端到端可部署加速;仓库附带 99 项自动化测试的完整复现包。

  23. GitHub · 灵魂体仓库25

    bharatlas(urbanmorph/geodata):印度地理数据目录、REST API 与 MCP server 开源仓库

    bharatlas 提供印度地理数据可视化目录,覆盖从邦到村级行政边界及 63k pincode 多边形,支持 Parquet、PMTiles、GeoJSON、KML、Shapefile 下载与动态筛选。仓库内置 REST API(/api/v1,无需 key、按 IP 限流)、支持 LLM 使用的 MCP server(npx bharatlas-mcp@latest,含 17 个工具),并可作为 Claude Code 插件安装。技术栈为 Vanilla TypeScript + Vite + MapLibre GL JS,托管于 Cloudflare Pages/R2/D1。

  24. GitHub · 灵魂体仓库28

    InferenceEngine.Core:基于 ONNX Runtime 的 .NET 跨平台 AI 推理库

    开源 .NET 库 InferenceEngine.Core 通过统一的 IInferenceEngine 契约封装 ONNX 推理的模型下载缓存、硬件检测、warmup 和张量前后处理等通用流程。硬件加速支持 Windows 的 DirectML、macOS 的 CoreML 和 Linux x64 的 MIGraphX(ROCm),均带 CPU 自动回退,并支持 IAsyncEnumerable 流式解码与 KV-cache carry-back。示例项目内置完整 YOLO11 人脸检测管线,模型首次加载时自动下载缓存,MIGraphX 编译的 .mxr 程序可持久化以跳过约 1–2 分钟的重复编译。

  25. GitHub · 灵魂体仓库30

    ResumeAI:自带 API Key 的 AI 简历智能平台开源上架 GitHub

    GitHub 上的 ResumeAI 是一个自带 API Key(BYOK)的 AI 简历平台,提供 ATS 逐节评分、按职位描述定制简历、生成求职信和模拟面试,密钥仅存于浏览器 sessionStorage。支持 Anthropic、OpenAI、Gemini、OpenRouter、NVIDIA NIM 五家供应商,可从 LinkedIn 导入简历,输出 PDF、DOCX 或 LaTeX。技术栈为 Next.js 16、React 19、Tailwind CSS 4 与 Supabase,可部署到 Vercel 或 Netlify。

  26. GitHub · 灵魂体仓库27

    TwinKites 推出 simple-llm-news:本地开源权重模型资讯聚合站

    TwinKites LLC 推出 simple-llm-news,从 r/LocalLLaMA、Hacker News 和官方项目发布源聚合本地开源权重模型、安全和推理工具(llama.cpp、ollama、vLLM 等)新闻,每日多次刷新。站内用小规模开源权重模型给新闻标注绿/黄/红三色“可信度”标签,模型只判断标题措辞是否夸张,与投票数按固定规则合并,明确声明这不是事实核查。站点还提供 90 天归档、30 天历史图表、RSS 订阅、筛选框和深色模式。

  27. GitHub · 灵魂体仓库72

    agent-countercheck v0.14.0 发布:用锁定检查验证 AI 编程智能体的完成声明

    datacrate360 发布开源工具 agent-countercheck v0.14.0(Rust,MIT 协议),在 AI 编程智能体声称完成时,从基线提交读取锁定的检查项、复制文件到干净目录并在沙箱中重跑,生成带 SHA-256 封签的回执,防止智能体跳过或改弱测试。支持 Claude Code、Hermes Agent、Codex、Cursor 等,通过 Stop hook、verify 命令或 GitHub Action 接入,覆盖 macOS、Linux 和 Windows。作者基准测试中 GPT 6.1 的假 done 声明从 7 降到 3,DeepSeek V4 Pro 从 7 到 6,中位数运行约增加 1 秒。

    推荐理由:作者给出基准数据展示假 done 声明如何被拦截,方法可迁移到自己的 Claude Code 或 CI 工作流里直接复用。

  28. GitHub · 灵魂体仓库49

    InferiaLLM:用于生产环境运行 LLM 的自托管操作系统

    InferiaLLM 是一个自托管的 LLM 生产运行操作系统,位于应用与 AI 基础设施之间,提供访问控制与 RBAC、速率限制与 token 预算、毒性/PII 内容扫描、OpenAI 兼容推理网关、GPU 编排和审计日志等平台能力。整个平台以单端口应用(APP_PORT 默认 8000)部署,由控制面加数据面组成,配套 Go 编写的 inferia-worker GPU 节点代理和 InferiaAllSpark 一体化部署方案,支持自托管与云端算力。

  29. GitHub · 灵魂体仓库13

    LLM 多任务环境上下文推理优化研究(COAI 2025 在审)

    一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文提出优化策略,以提升 LLM 在多任务环境中的上下文推理能力,实证结果显示其在动态环境中适应性更佳。该论文目前在 COAI 2025 会议审稿中,仓库标注"To be released",完整实现代码、实验配置、Benchmark 结果、预训练模型 checkpoint 和文档教程尚未发布。

  30. GitHub · prompt 工程新仓库48

    Quill 开源配套仓库:用 Qwen2.5-1.5B-Instruct 与 Claude API 实测 prompt 工程课程各技术

    开源仓库 Quill(MIT 许可)是法语课程「Prompt Engineering Avancé & Ingestion de Contexte Large」的配套项目,用真实模型对发票、订单、合同条款等业务任务自动评分。实验采用本地模型 Qwen2.5-1.5B-Instruct(Apache 2.0,约 3 GB,4 GB GPU 即可运行),并可通过 quill/claude.py 调用 Claude API 测试结构化输出、严格工具调用与 prompt 缓存。

  31. GitHub · 3D 生成新仓库58

    comfyui-grok-prompt-forge 发布 调用 Grok API 自动生成适配各模型风格的英文提示词

    Slartibart23 在 GitHub 发布 ComfyUI 自定义节点包 comfyui-grok-prompt-forge,通过 xAI Grok 官方 API(https://api.x.ai/v1)把任意语言的短点子或已有描述改写成适配目标模型的英文提示词,默认模型为 grok-4.20-0309-reasoning,MIT 许可。

    推荐理由:为每个目标模型整理了官方来源的提示词规范和采样参数对照,可直接复用到其他提示词生成场景。

  32. GitHub · 3D 生成新仓库10

    DocuMind-AI:一个 RAG 文档问答项目开源仓库

    GitHub 新开源仓库 Umair-Yasin-dev/DocuMind-AI 上线,包含 frontend 目录、main.py、rag_test.py 及 requirements.txt 等文件,rag_test.py 表明其与 RAG 检索相关。仓库还带 vercel.json 和 runtime.txt,可部署到 Vercel,另附 data.pdf 示例数据。

  33. GitHub · 3D 生成新仓库23

    PixelBudget:延迟与内存约束下的自回归图像生成研究

    UIT(VNU-HCM)研究员 Nguyen Huynh Dang Nhut 发布 PixelBudget 项目,研究在计算预算(GPU VRAM、缓存容量、内存带宽)与图像质量之间的权衡,在 NVIDIA T4 GPU 和多核 CPU 上实现像素级自回归生成。研究对比了自定义解析反向传播与 PyTorch autograd 的开销,并分析逐像素解码与并行 patch 生成的内存带宽瓶颈。项目含 68 个 cell 的 Colab notebook 及离线 HTML 报告。

  34. GitHub · 3D 生成新仓库22

    Research RAG Engine 开源:面向研究论文的检索增强生成引擎

    GitHub 新开源的 Research RAG Engine 是一个面向研究论文的 RAG 项目,支持 PDF 发现与元数据提取、文档解析与分块、SentenceTransformer 嵌入、Qdrant 向量索引及 top-k 检索,并提供浏览器检查面板。后续计划包括检索质量评测、上下文构建、端到端 RAG 生成、多查询检索、重排序与混合检索,以及 Agentic 研究工作流。

  35. GitHub · 去对齐工具与仓库41

    BiliDude:B 站视频侧边栏小电视助手 Chrome 扩展

    BiliDude 是一款 Chrome 扩展,读取 B 站视频字幕交给所选大模型,一键生成总结、目录或金句,也可直接提问,点击回答中的时间戳即可跳转视频。内置 DeepSeek、OpenAI、Anthropic、Google Gemini 和 OpenRouter,支持任意 OpenAI 兼容接口;无服务器、不收集数据,API Key 仅存本地。