ik_llama.cpp fork 更新进展,作者寻求社区反馈
Reddit 用户更新了 ik_llama.cpp fork,并寻求社区反馈。该实现在 6GB 显存的 RTX 2060 上运行 Qwen3.6-35B-A3B-UD-Q4_K_M,短提示词生成约 45–48 t/s,28K 上下文约 37 t/s,prefill 约 430–700 t/s。由于反馈太少且代码需拆分清理,作者暂不合并到主线。
新闻、仓库与研究,按时间排列。
Reddit 用户更新了 ik_llama.cpp fork,并寻求社区反馈。该实现在 6GB 显存的 RTX 2060 上运行 Qwen3.6-35B-A3B-UD-Q4_K_M,短提示词生成约 45–48 t/s,28K 上下文约 37 t/s,prefill 约 430–700 t/s。由于反馈太少且代码需拆分清理,作者暂不合并到主线。
MicheleCampi 发布 gke-llm-inference-platform,一个基于 Terraform 与 ArgoCD app-of-apps 的 GKE LLM 推理平台,通过 scale-to-zero 的 L4 GPU 节点池运行 vllm-coldstart-operator v0.6.0,部署 Qwen2.5-7B-Instruct。实测中 6 个 ArgoCD Applications 全部 Healthy 且 Synced,vLLM Pod 0 重启并成功完成一次 chat completion(39 prompt + 33 completion tokens),随后 terraform destroy 清空全部 7 个资源实例。
GitHub 开源项目 AI-Wireless Copilot 旨在将自然语言无线通信需求转化为可执行仿真与验证结果,结合 RAG、自动代码执行与约束优化。规划能力包括 AWGN、Rayleigh、Rician 信道仿真、BER-SNR 分析与星座图可视化,可选 QLoRA 微调。技术栈为 Python、FastAPI、Streamlit 及 open-weight LLM,目前处于 Phase 0 架构搭建阶段。
insciqq 在 GitHub 发布 AIQSA,一个自托管 AI 工作区,可在私有工作区中统一使用 GPT、Claude、Gemini、DeepSeek、OpenRouter 或自有模型,使用自己的 API key。每个聊天可配独立 KVM 虚拟机运行代码和处理文件,记忆系统只从用户话语学习并记录事实主体与时间,可经 OAuth 接入 Claude Code 和 Codex;需 64 位 Linux、Docker 25.0+、2 核 8GB 内存和 50GB SSD,采用 AGPLv3 许可。
推荐理由:README 给出了硬件要求、安装命令和记忆机制细节,团队可据此评估自托管多模型工作区的落地成本。
Thecimal 在 GitHub 发布开源的 quantified-self-mcp,一个本地优先的 MCP 服务器,让 AI 智能体通过 MCP 访问本地 SQLite 中的个人健康数据,支持趋势、基线、异常、相关性等纵向分析。每个分析结果附带 claim 证据结构,标注数据覆盖率与可声明的强度等级(如 suggestive),避免把低覆盖数据当成确定结论;支持 CSV、Apple Health、WHOOP API 等导入,共暴露 20 个工具,MIT 协议开源。
推荐理由:原文给出了证据分级机制的具体设计,分析结果附带可机器校验的claim强度与数据覆盖缺口,而非只报数字。
carstenlucke 在 GitHub 开源 schnupper Monorepo,包含面向学生的 KI 与 KI-Agent 演示项目。其中 ship-it 让五个 KI-Agent 完成从目标群体分析到 Landingpage 的产品发布;the-counting-agents 是基于文件型 Append-only Event Logs 的多智能体终端演示,运行在 pi CLI 上;agent-party 则由参与者自己撰写 Markdown 角色档案作为 Systemprompt 生成智能体讨论,配套 Slidev 演示文稿「Vom Chatbot zum KI-Agenten」。
Anonyfox 在 GitHub 发布 lfm v0.0.2,一个 agent 优先的落地页编译器,通过一条安装命令和 SKILL.md 让 Claude Code、Codex、Cursor 等 Agent 走研究、设计、实现三阶段流程生成静态落地页。lfm compile 会检查正确性、速度、可访问性、SEO、AI 设计默认痕迹和 Stripe 支付链接,全部通过才写出 output/,无框架无运行时,支持 macOS 和 Linux,MIT 许可。
推荐理由:原文给出了编译器各阶段检查项和三阶段工作流细节,读者可以据此评估这个 agent 优先的落地页工具是否适合自己复用。
GitHub 用户 Leaveing00001 发布 AstrBot 插件 astrbot_plugin_context_recall,提供两条共用聊天流水的链路:发送前用约 0.6~1.3 秒的 OK/BAD 短裁决拦截不合逻辑回复并打回重写,发送后按现场反应裁决是否撤回 100 秒内自己说的消息。插件带重写上限、超时放行、每小时 200 条熔断、撤回配额等安全阀,支持 /air 指令查状态,无第三方依赖,MIT 协议。
推荐理由:原文给出裁决耗时、重写上限、撤回配额等具体参数与已知取舍,读者可以直接评估这套审查撤回机制是否适合接入。
GitHub 上的 xdog 是一套本地优先的模型与 Agent SDK、终端应用、类型化工作流和 JSON 观察工具,不依赖托管控制面或外部数据库,持久化使用本地 JSON、JSONL、Markdown 和 SQLite。项目含九个 xdog.* 命名空间的包,其中八个发布到 PyPI,涵盖 xdog-coding 编码助手、xdog-claw 持久多渠道助手(支持 TUI 与 Weixin)、xdog-flow 类型化工作流和 xdog-eyes 观察守护进程。真实模型调用需自行配置 provider 与凭据,支持 Copilot 和 Antigravity 等认证路由。
SergeyGer 开源了 InSilicoTrial MAS,一个多智能体临床试验模拟平台,可生成数字孪生虚拟患者队列并按方案执行试验,输出可审计的 go/no-go 读数。一次演示运行包含 400 名合成患者、6 个 epochs,结果以交互式仪表盘、报告和导出数据呈现。平台支持 Spark 集群分布式运行且结果逐位一致,容器化部署离线可复现,含 231 个自动化测试。
Compute Screener 在 GitHub 开源每日 GPU 租赁与 AI token 价格指数,覆盖 H100、H200、A100、B200、B300、RTX PRO 6000 的美元/GPU·小时报价,数据来自 20 个来源,每 2 到 3 小时更新。token 指数按每 1M tokens(3 输入:1 输出)统计 Anthropic、OpenAI、Google、xAI、Meta、Moonshot AI、Alibaba、DeepSeek、Z.ai、Xiaomi 的定价。数据以每日 CSV 和 JSON 提供,采用 CC BY 4.0 许可,连接器已列入 Claude 连接器目录与官方 MCP Registry。
GitHub 项目 rapotekhin/dnd_llm 发布 v0.5.4,完成从 pygame 原型到 Godot 客户端加 Python 后端的迁移。游戏按 D&D 5e 规则建角色(9种族、12职业),LLM 只担任叙事主持人,骰点、DC、物品和经验由确定性游戏引擎裁定以免世界设定漂移;需 Godot 4.7、uv 和 OpenRouter key,MIT 许可,路线图包含完整5e规则、战斗与变化世界。
推荐理由:项目把判定、数值和状态交给确定性引擎,LLM 只做叙事和NPC,这种分工设计对做LLM游戏的人有直接参考价值。
GitHub 开源项目 FinSight 是一个约 250 KB、零依赖的本地投资终端,提供实时行情、FX 风险面板和经济日历,无需账号或 API keys,数据完全留在本机。其内置 AI 研究智能体 Kestrel 默认使用 DeepSeek,也支持 Claude Haiku 等 OpenAI 兼容模型,配备 35 个只读工具、策略扫描和 SEC EDGAR 文件研究,只读设计不可交易。支持从 Interactive Brokers / moomoo / Tiger 导入持仓,所有调用记录本地可追溯。
ID-VerNe 开源 IdleJot 项目,把 AI Agent 常驻一个 QQ 群,被 @、引用或叫到名字才回复,其余时间潜水看聊。Agent 读上下文现场写回复而非关键词固定话术,人格来自可热切换的 Markdown 人格卡(自带 little_whale、dragon_girl 模板),群友画像与记忆存本地 SQLite,闲时自动提炼。项目经 MCP 接入 Agent,靠 NapCat(OneBot 11)收发消息,默认 mention_only 触发,支持原生引用、按花名 @ 人、追问窗口和守护保活,目前仅支持 Windows、只发文字。
推荐理由:作者详细公开了常驻栈、群友记忆沉淀和人格卡模板的构造方式,想做群聊 Agent 的人可以照着整套架构自己搭。
WeeLLM 开源了针对大型扩散模型的分层流式推理工具,通过把文本编码器和 transformer 层按显存预算动态流式加载到 GPU,在不量化的 bfloat16 精度下让 4GB 显存运行 FLUX.1-dev、SDXL、Qwen-Image 等模型,并给出 RTX 3050 上的显存峰值与生成耗时基准表。现已提供 ComfyUI 官方扩展,支持文生图、图生图和文生视频,但作者说明自回归文生图模型因需上千次前向传播而流式耗时数小时,不实用。
alivault 发布 Pico,一个托管 Pi 编码智能体会话的 Web 工作区,通过一个 Node 服务器运行智能体并提供 React 界面。会话存于单个 SQLite 数据库,崩溃或重启后运行可继续,副作用工具不会重复执行,终端由独立的 pico-pty-host 进程托管并可在重启后恢复;支持子会话工具配置限制、Web Push 通知,以及通过 SSH 汇聚多台机器的会话。安装方式为 npm install -g @alivault/pico,许可证为 AGPL-3.0-only,项目无登录机制,作者提醒不要暴露到公网。
推荐理由:README 交代了会话持久化、终端存活与子会话安全限制的具体机制,还给出远程访问的风险提示,适合想自托管编码智能体工作区的读者参考。
davdittrich 发布 Claude Code 插件 review-code,基于 Matt Pocock 的双轴(Standards 与 Spec)审查技能并新增证据门控,findings 携带 file:line 证据。它支持 Defects、Standards、Spec、SOTA 四条 lane、quick/standard/deep 三档及 --lean 清理档,可用 --comment 向 GitHub PR 或 GitLab MR 发评论、--fix 逐项应用已确认的修复,测试失败或超时的修复会被回滚。插件要求 Claude Code 2.1.292 及以上(本地测试于 2.1.304)、git、python3 3.9+,目前为早期版本,默认档位未经验证,作者提醒勿依赖其审查结果。
作者发布开源工具 Lookout,一个自托管的资讯瞭望塔,接入 RSS/Atom、GitHub releases 等信源后由任意 OpenAI 兼容的 LLM 总结、分类并按 P0 到 P3 排优先级,可从本地免费的 Ollama 起步。优先级先由确定性规则决定、模型其次,每项附带理由,并根据用户的已读、星标和忽略行为调整排序;数据存于单个 SQLite 文件,MIT 协议,目前处于 v0.x 早期阶段。
NERticleS 是为 BSG Institute「LLM 与 API 基础」课程 Project B 开发的新闻文章自动分析流水线,包含 7 个异步阶段,可执行实体抽取、SEO 摘要生成和情感分类。系统通过 FastAPI webhook(POST /api/v1/webhook/articles)接收至少 50 字的文章内容,返回 202 Accepted,结果写入数据库供查询。项目提供优化 Dockerfile,可部署到 Google Cloud Run,支持通过环境变量配置 GEMINI_MODEL(如 gemini-3.8-flash)和 OLLAMA_URL,生产环境建议用 Google Secret Manager 管理 GEMINI_API_KEY。
wellmanifest 发布 nl-dsl-llm 标准,为开发者与 Agent 工具提供自然语言、领域特定语言(DSL)与 LLM 翻译回退的三层确定性架构。该标准支持波兰语与英语的本地确定性意图匹配、严格类型的可执行 DSL,并通过 CLI、REST API 与 MCP(stdio/SSE)提供统一接口,附带 JSON schemas、Python 参考实现与一致性测试套件,采用 policy-as-code 治理。
prathamkashyap 在 GitHub 开源 fact-knowledge-layer,一个完全离线、确定性的跨文档事实提取与认识论推理引擎,原为 VIT 2026 实习作业开发。流水线用 PyMuPDF 解析多页 PDF,提取带逐字证据(文档 ID、页码、原句)的结构化事实,归一化后由规则推理器将事实对分类为 CORROBORATES、RECONCILABLE、CONTRADICTS 等 5 种关系。项目通过 FastAPI 提供零构建的 Fact Explorer UI,回归测试当前 444 个通过,并提供可接入外部模型的 LLMProvider 抽象接口。
开源项目 open-transcribe 提供本地视频和课程转写,基于 Whisper,支持 CUDA GPU、Metal 或 CPU 运行,实时显示转写结果,可选本地 LLM(Qwen2.5)按停顿和内容自动分段。应用可自动检测硬件、在界面内下载和删除模型,输出带 timecodes 的纯文本或 SRT 字幕,提供 Linux AppImage、Windows 和 macOS 安装包,代码采用 MIT 许可证。
一个个人专用的 AI 要闻日报仓库:GitHub Actions 每 3 小时抓取 OpenAI Blog、Anthropic News、Google DeepMind 等 ≥5 个 RSS/Atom 源,用 LLM 生成单条 ≤3 句的中文摘要,发布到 GitHub Pages 并经 ntfy.sh 主题向手机和电脑推送。LLM 通道按智谱(默认 glm-4-flash)、OpenAI(默认 gpt-4o-mini)、GitHub Models 免费推理依次降级,密钥全部走 GitHub Secrets,每日条目默认上限 12、推送取前 5 条。
GitHub 开源项目 CONTINUUM 0.1.2 已发布至 PyPI(pip install continuum-agent),为长任务 AI Agent 提供可验证的语义恢复。其核心包括语义检查点、拒绝重复副作用的幂等 action ledger、防篡改的 hash-chained 事件日志,并以默认拒绝的 MCP server 形式暴露。项目支持 Python 3.11+、框架无关,可集成 Claude Code、Gemini CLI 和 Codex,核心库仅依赖 pydantic>=2.7。
protocol/perun 发布,这是一套以文本文件形式分发的技能包,让 Claude Code、Cursor 等 AI 编码助手按固定流程完成从审查到交付的工作,核心是带证据的深度代码审查,另含 token 成本优化、门控智能体交付等技能。作者用统一测试环境实测 39 个真实 bug 修复案例,Perun 在 claude-sonnet-5-5 上比普通提示词多抓 bug 但区间下界为 0,相比 Claude Code 内置 /code-review 抓到的 bug 数量相当而误报大幅更少,与三个流行的审查技能对比均为平局;在更强的 claude-opus-5-5 上与普通提示词打平。大改动场景下多次独立审查比任何单一方法更有效,项目同时附上成本核算和诚实的局限性说明。
推荐理由:项目附上统一测试环境和多组对照基准数据,连不利的平局结果也如实列出,读者可自行判断这套 review 技能包的真实增益。
作者发布开源 Python 包 mlx-decision,可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题,一次前向即返回各选项的概率与置信度;与原 PyTorch 代码逐 token 校验,同答案下在 MPS 上通常快 1.4–6 倍,M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调,d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%;MIT 协议,需 macOS 14+ 和 Python 3.12+,仓库 https://github.com/armbues/mlx-decision。
推荐理由:作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比,本地部署决策模型时可参考这些数字选型。
网友在 RTX 5090、64GB DDR5 和 Lexar 4TB NVMe 的 Windows 10 机器上,用 Strata 以 8K 上下文跑通 DeepSeek V4.1 Flash,速度约 10 tok/s。作者称按此速度用 API 比付电费更划算,但仍对模型能在本地 PC 上运行感到兴奋。
CrossWordFalcon 是一个可从网页生成完整填字游戏的工具,支持法语、英语、德语、西班牙语、意大利语和葡萄牙语,网格尺寸从 5×5 到 50×50,提供三档难度。它由本地小模型自动生成基于真实词典定义的线索,也可选用 Mistral、Claude 等云端模型并自动回退本地。程序 100% 本地运行,支持 CPU 或 GPU(含 Apple Silicon),推荐配置为 8 核、16 GB 内存和 12 GB 显存的 NVIDIA 显卡。
shamanic-technologies 在 GitHub 开源了 content-generation-service,一个使用 Claude Sonnet 4.6 生成个性化内容(邮件、日历事件等)的微服务。该服务支持 BYOK 方式使用 Anthropic API key,用 PostgreSQL 和 Drizzle ORM 存储生成结果,并集成 runs-service 的成本追踪与 Sentry 监控。技术栈为 Node.js 20+、TypeScript、Express.js,提供 /health、/generate、/generations/:runId 等 API 端点,支持 Docker 部署,采用 MIT 许可证。
开源 SaaS 项目 ai-resume-builder(ResuMaker.AI)可按职位、经验与技能用 AI 生成简历,并针对 ATS 筛选系统优化结构。项目通过 OpenRouter API 调用 DeepSeek R1 与 Gemini 2.0 Flash 模型,支持阿拉伯语、英语和法语,可一键导出白底 PDF 或复制文本。前端采用 HTML5 与 Tailwind CSS,后端为 Node.js / Vercel Serverless Functions,部署于 Vercel。
GitHub 仓库 Suno-Archive-Automator 是一套用纯 Python 3 编写的自动化归档系统,用于编目、归档和分析 virtualluser 用 Suno 创作歌曲中的音乐主题。系统生成兼容 Obsidian 的知识库,含曲目与主题 markdown 笔记、Canvas 关联图,并通过 GitHub Actions 自动将交互式网页面板发布到 GitHub Pages,面板带 Suno CDN 音频播放器、搜索过滤和 HTML5 Canvas 2D 关系图。当前 10 首曲目均为占位数据,其 Suno ID 返回 404,CDN 播放需签名链接,实际播放会报 MissingKey 错误。
GitHub 上线新仓库 Maxlechampion/docforge,定位为 AI 辅助文档生成平台。该仓库已在 GitHub 开放,供用户查看。
GitHub 仓库 ivy343/takelab-comfyui 发布 v0.2,一个本地应用,输入一张图和场景描述后最多按 3 种相机条件生成视频,并在同时间点对比、挑选要保留的 take。v0.2 实际运行 Wan 2.1 Fun Camera 1.3B,由扩散模型生成画外区域、遮挡和视角变化,不再使用 v0.1 的数字平移缩放渲染器。默认输出 512×336、49 帧、16fps、20 步;验证环境为 Windows/ComfyUI 0.39.0/RTX 4060 Ti 16GB,单次预检生成约 81 秒。需 ComfyUI 及约 11.5GB 的 4 个模型文件,支持失败 take 重跑并保留历史,应用代码以 MIT 协议开源,不含模型权重。
GitHub 新仓库 InsightLense 是一个多模态 RAG 聊天机器人,能理解 PDF 文档中的文本、表格与图表,借助 Computer Vision“看懂”图形与示意图。它用 Gemini 2.5 Flash 解析图像、LlamaParse(Markdown 模式)保留表格结构,并采用 FAISS 语义搜索与 BM25 关键词搜索的混合检索,LLM 使用通过 Groq 调用的 Llama-3 / GPT-OSS,后端为 FastAPI,编排基于 LangChain。用户上传 PDF 后即可针对图表内容提问。
作者发布自研双卡推理引擎 capy-flash v0.7.4,面向两张 RTX 50 系显卡在 Linux 上做张量并行,支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上,Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s,对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍;27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由:作者在同一台机器上给出与 Strata 的逐项对比数据,双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
开发者 T S Sharan 在 GitHub 开源 AI Dependency Detector,一个基于 Python Flask 和 Scikit-Learn 的 Web 应用,可分析文本并估算 AI 生成内容的依赖百分比,区分人写、AI 生成或两者混合。项目部署在 Vercel,采用 MIT 许可证,支持即时分析,未来计划加入 PDF/DOCX 处理与 REST API。
Chenry-123 开源了跑在本机的 LLM 网关 llm-token-gateway,夹在 Qoder、Claude Code 等客户端与模型厂商之间,提供缓存、模型路由、预算闸门与四段计费记账。实测 35 题×3 轮显示路由省 51.2%、路由加显式缓存省 55.0%,质量经 Wilcoxon 配对检验不显著;缓存仅对 qwen-flash 生效,qwen-plus-latest 不支持缓存。支持 anthropic→openai 协议转换、流式透传、MCP 查账工具与离线成本看板,仓库地址 https://github.com/Chenry-123/llm-token-gateway。
推荐理由:作者用日志实测了缓存、路由与预算闸门的省钱幅度,并附配对统计检验区分质量损失与噪声,方法可直接迁移。
GitHub 上的 wiki-mcp-api 是一个 MCP 服务器,通过 stdio(本地,可读写)或 HTTP(远程,只读)把 LLM Wiki 领域知识库提供给 Claude、OpenCode 等 AI 智能体。它提供 wikiSearch、wikiReadPage、wikiWritePage、wikiGraph、wikiStatus 等 11 个工具,HTTP 模式默认只挂载只读工具,需 MCP_HTTP_TOKEN Bearer 认证,默认端口 3000,采用 MIT 许可证。
m0NSYuke 在 GitHub 发布 PaperLab,一个本地优先的 AI 科研论文阅读工作台,左侧 PDF、右侧带页码和引句出处的中文讲解,报告由 Claude Code 的 /paper 或 Codex 的 $paper 生成并在发布前逐条校验引句。划词翻译完全离线,用 77 万词条 ECDICT 词典加 217 条 AI 术语库,整句翻译由腾讯 Hy-MT2 经 llama.cpp 在本机运行,RTX 4060 上首句约 5 秒、之后每句约 1–2 秒;Study 层提供三遍读法、自测题、新意度×有效性×问题大小的价值打分和想法本。
推荐理由:本地运行的论文阅读工作台,报告由 Claude Code 或 Codex 生成并逐条校验引句页码,理解层含自测题与价值打分。
GitHub 开源项目 NoLLM 是一个不依赖大语言模型的本地优先研究引擎,可搜索来源、检索证据、排序并生成带引用的确定性答案,仅需 Python 3.10+ 即可在纯 CPU 低资源设备运行。核心引擎零第三方依赖、无需 API key 和 GPU,支持 --url 网页摄取、--file 本地文件离线检索、BM25 句子检索与证据充分性评分,采用 MIT 许可证。