跳到正文
10月10日周六
  1. GitHub · 3D 生成新仓库46

    Metadata AI:Playnite 游戏库元数据 AI 整理扩展发布

    Metadata AI 是一个 Playnite 元数据扩展,利用 AI、官方商店数据和外部媒体源生成或规范统一的游戏简介、标签、分类、排序名及封面、图标和背景图。支持可自定义 HTML 模板、逐字段控制、变更模拟与撤销(记录最近 20 次操作),并覆盖 Steam、GOG、Epic、模拟器等多种来源。AI 提供方包括 OpenRouter、Groq、Google Gemini、Cerebras、Mistral AI 免费档、LM Studio、Ollama、OpenAI、Claude、Anthropic 等。

  2. GitHub · 3D 生成新仓库22

    adamaltmejd/registry-research-toolkit:瑞典登记数据微数据研究工具包

    GitHub 新仓库 adamaltmejd/registry-research-toolkit 发布,提供在 SCB MONA 上处理瑞典登记微数据的工具,含 reg_meta 元数据搜索、reg_schema 校验器和 reg_webapp(Rust 服务器 + Svelte)等包。工具包以 microdata-tools-se 插件形式支持在 Claude Code 和 Codex 中安装,连接托管 catalog MCP 服务器,需 Python 3.14+ 和 uv,采用 MIT 许可证。

  3. GitHub · 3D 生成新仓库49

    Rust 开源求职自动化引擎 AstroOM 上架 GitHub:多阶段流水线自动筛选职位并生成定制简历

    开源项目 AstroOM 用 Rust 编写,支持 Linux 与 Windows,将求职自动化拆为 8 个流水线阶段,从 Indeed 与 LinkedIn 无头抓取职位,经去重、候选人画像对齐、0–100 匹配评分后生成定制简历和求职信。它兼容 OpenAI 协议,可接 OpenRouter、Ollama、vLLM 等端点,各阶段产物附带 SHA-256 校验,软件不含遥测,仅限教育和个人用途。

  4. GitHub · 灵魂体仓库40

    macstudio-local-llm:Mac Studio M4 Max(128 GB)本地 LLM 基准测试工作区

    snagnever 在 GitHub 开源 macstudio-local-llm 工作区,集中管理在 Mac Studio M4 Max(128 GB 统一内存)上运行的本地 LLM 基准测试。项目包含 benchmark 工具(git submodules)、各轮测试结果、Chart.js 仪表盘(GitHub Pages)、按任务选型的模型参考文档,以及对特定模型的运行时修复补丁,评测覆盖 MMLU、HE、MATH 及实际工作流场景的 tok/s 吞吐。

  5. GitHub · 去对齐工具与仓库24

    ReQurv Bridge:为 AI Hive 网关预配置启动 AI 编码智能体的桌面应用

    ReQurv 发布 ReQurv Bridge 桌面应用,可将 OpenCode、Codex、Claude Code、Hermes 等编码智能体预配置后接入其 AI Hive 网关。应用支持自动检测已安装的智能体(含 nvm、Volta、Homebrew 等安装方式)、列出网关模型并设默认项、一键启动,并自动写入或备份各智能体的配置文件。提供 macOS .dmg(签名并公证)、Linux .AppImage/.deb 和 Windows .msi 安装包,需粘贴 AI Hive API key(本地验证存储)。

  6. GitHub · 灵魂体仓库25

    europanite 开源 ai-picture-diary:本地 LLM 驱动的自动图画日记项目

    GitHub 上的 ai-picture-diary 项目开源,这是一个由本地 LLM 和 VLM 驱动的自动图画日记系统。项目整合 FastAPI 后端(提供认证、RAG、文本生成 API)、PostgreSQL 数据库、ChromaDB 检索本地 JSON 文档,通过 Ollama 或 OpenAI 兼容模型生成文字,配 Expo/React Native 前端和插图生成 worker,并用 GitHub Actions 完成 feed 生成与 GitHub Pages 部署,还提供可选的 LoRA 微调服务。

  7. Reddit · r/SillyTavernAI64

    Molfar Vertep 发布:内置 Agent 可按指令实时改造角色扮演应用

    乌克兰开发者 /u/Ethno_Synth 发布角色扮演应用 Molfar Vertep 0.9.3,内置 Molfar Agent 可按用户指令修改、扩展甚至重建应用本身,代码由 Claude Code vibe-coding 完成。应用带关系仪表盘、以 Soul 参数刻画角色脾气但不发送原始数值而是注入行为描述、以及 Library 记忆系统:按场景完成度归档并由 Litopys 写章节,支持关键词与向量检索、pin 重要事实、用 Graphs 链接新旧聊天。支持 Anthropic、ChatGPT 订阅和 OpenAI 兼容端点,可从 SillyTavern、Chub、RisuRealm 等迁移数据,下载地址 https://github.com/MolfarWav/Molfar.Vertep。

    推荐理由:原文讲清了关系参数如何转成行为描述注入提示词、以及按场景归档的记忆做法,思路对自建角色扮演前端的人可参考。

  8. GitHub · 灵魂体仓库53

    danielchalmers 开源 AutoTriage:GitHub Action 自动分诊 issue 和 PR

    danielchalmers 发布 AutoTriage,一个以仓库内纯文本策略为依据、自动分诊 issue 和 PR 的 GitHub Action,可加标签、追问缺失信息、改标题并清理过期项,无需托管机器人或第三方服务。它调用 Gemini、Claude、OpenAI 或任意 OpenAI 兼容服务,MudBlazor 已在每个新 issue 和 PR 上运行并做夜间积压扫描;每步操作会引用授权它的策略条款,支持 dry-run 审查并输出 run-summary. 供跨历史聚合。

  9. GitHub · 灵魂体仓库33

    kritzeLLM:把手写日记变成可搜索、可对话的知识库

    kritzeLLM 是一个开源项目,把手写日记拍照后识别文字,支持按页面位置检索和问答,每个答案都附带指向具体页面的来源。整个系统通过 docker compose 在本地运行,技术栈包括 PostgreSQL 18.x、pgvector 0.8.x、Python/FastAPI 后端和 Vue 3 前端,但页面图片和文字需发送到 OpenAI API 处理,未来可能支持自托管 LLM。

  10. GitHub · 灵魂体仓库30

    haiiibin/acb-tax-mcp:计算加拿大 ACB 与资本利得的 MCP 服务器

    haiiibin 在 GitHub 发布 acb-tax-mcp,这是一个 MCP 服务器,可从交易记录计算加拿大调整成本基础(ACB)和资本利得,支持平均成本法、每次处置的盈亏和 superficial loss(30 天规则)检测,结果以结构化 JSON 返回。提供 calculate_acb、capital_gains_report、schedule3_summary、normalize_broker_csv 等工具,可在 Claude Desktop、Claude Code、Cursor 等 MCP 客户端使用,需 Python 3.10+ 和 MCP Python SDK 2.x。项目仅作计算辅助而非税务建议,尚不支持股本回报、拆股、期权等公司行为。

  11. GitHub · 去对齐工具与仓库41

    Beurre v1.0.0 发布:基于 Bun 的极速 agentic 编码 CLI,内置交互转向与 Relay Gateway 多模型接入

    Beurre v1.0.0 是一个运行在 Bun 上的轻量级 agentic 编码 CLI 工具,冷启动低于 15ms,交互设计灵感来自 Claude Code 与 Codex。它支持执行中途的交互式转向、实时推理内容展示和 tok/s 速度遥测,并通过 Model Aggregator 的 Cloudflare Relay Gateway 自动发现 50+ 旗舰模型(5 分钟缓存 TTL)。工具采用轻量 OMP agent core,可经一行脚本安装或通过 bunx 直接运行。

  12. GitHub · 去对齐工具与仓库44

    Quazmoz/InferBridge:基于 OpenVINO GenAI 的 Intel 硬件本地 AI 服务器

    InferBridge 0.9.6 正式版发布,把 Intel Windows PC 变成本地 AI 工作站,底层由 OpenVINO GenAI 驱动。它提供 Windows 优先的 OpenAI 兼容服务器,支持流式聊天、本地视觉聊天、嵌入向量、CPU/GPU/NPU 设备定向和 System Doctor 诊断,并提供 Windows 安装包与 Portable ZIP。目前安装包尚未 Authenticode 签名,需通过 SHA-256 校验,签名版与 Microsoft Store 上架正在筹备中。

  13. Hugging Face · 新模型:uncensored47

    Qwen3.8-Flash-Next-Uncensored-NVFP4 DGX Spark 部署包在 Hugging Face 发布

    DevelopingDad 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 DGX Spark 部署包,封装 OrcaRouter 现有量化权重, checkpoint 约 183.5 GB,未做微调或重量化。包内含自动挂载运行时补丁的启动器,基于 ARM64 vLLM 0.30.0 提供 OpenAI 兼容 API,最大上下文 131,072 tokens,需 DGX Spark/GB10 与 128 GB 统一内存。K1b 配置实测单客户端 prose 吞吐 37.29 tok/s,较此前配置提升 48.9%,52/52 请求全部完成、无 OOM。

  14. GitHub · 去对齐工具与仓库61

    WhoFlips 论文开源:反方论证如何让大语言模型放弃正确答案

    WhoFlips 论文(arXiv:2606.16011)开源配套仓库与数据集,用两阶段协议测量 LLM 答案稳定性:先让模型为错误选项写论证,再用该论证挑战其原本正确的答案。实验覆盖 GPT-5.1、Gemma-4-26B、Llama-3.1-8B、Llama-3.3-70B 和 Qwen3.5 系列,变量包括论证长度 k ∈ {1,3,5,10}、归属(盲/自)与来源(同模型/跨模型),解码温度为 0 并禁用推理。数据集 nafisehNik/WhoFlips 约 1.18 GB、约 20.3 万行,含 self_mmlu、cross_mmlu 和 maxflip_mmlu 三个子集,CC BY 4.0 许可,每行保留两阶段完整信息可直接重算 AFR 等指标。

    推荐理由:论文配套仓库同时放出了完整代码、复现脚本和约 203k 行的公开数据集,读者可直接复核答案翻转指标而不必重跑实验。

  15. GitHub · 去对齐工具与仓库48

    ProbeLabs 开源 aeo:测量 Claude Code、Codex、Grok 是否提及你的产品

    ProbeLabs 在 GitHub 开源了 aeo 工具,通过让 Claude Code、Codex 和 Grok 各回答两次相同问题——一次禁用搜索、一次允许搜索——来测量编码智能体是否提及你的产品,并记录 mention、是否真的搜索、搜索框中输入的原始字符串以及其中出现的竞品名。工具仅依赖 Python 3.11+ 标准库,输出原始 JSON 证据、决策看板(win/gap/search-blind/trap)和 HTML 报告,采用 MIT 许可证。

  16. GitHub · 灵魂体仓库46

    Threavix-AI:面向安全团队的自托管 AI 威胁分析助手

    Threavix 是一个面向安全团队的自托管 AI 分析服务,可将告警、邮件或日志中的指标提取出来,对照威胁情报源查询并返回包含拦截、监控与后续动作的报告。它以 FastAPI 运行、用 LangGraph 编排,集成 IOC 提取、DNS 解析、CVE 查询(CIRCL API)、MITRE ATT&CK 映射、DuckDuckGo 搜索等 8 个工具,默认模型为 gpt-5-mini,需 Python 3.13+ 与 Docker,配合 PostgreSQL 部署;VirusTotal 与 AbuseIPDB 情报为可选配置。

  17. GitHub · 去对齐工具与仓库17

    ModelPort:在 Flutter 应用中一行 Dart 代码运行任意 AI 模型

    ModelPort 是一个处于早期开发阶段的开源项目(Apache-2.0 协议),目标是让 PyTorch 或 Hugging Face 模型用 Python 的 modelport CLI 一次准备后,在 Flutter 端一行 Dart 代码即可在设备上运行,v0.1.0 尚未发布。其 CLI 负责模型导出、验证并生成 modelport.json 清单,Dart 端通过 ONNX Runtime、ExecuTorch、llama.cpp 三个适配器处理下载、缓存、预处理与推理。规划支持图像分类、目标检测和文本生成,示例包括 mobilenet_v3_small 和 qwen2.5-0.5b-instruct。

  18. GitHub · 灵魂体仓库37

    ibl.ai/os 开源 AI Agent 平台:一套代码覆盖 Web、macOS、Windows、Linux、iOS 和 Android

    ibl.ai 开源了 AI Agent 平台 ibl.ai/os,采用 MIT 许可证,支持自托管,可接入 OpenAI、Anthropic、Google 等任意 LLM 且无需重写代码即可切换供应商。平台内置 RAG 训练、Web 搜索、Deep Research、LiveKit 实时语音通话、MCP Servers、多租户、SSO/RBAC 和 Stripe 计费等功能,已有大学、企业和政府机构在自有基础设施上部署。该平台是 ibl.ai 平台的前端,需配合其后端完成认证与 Agent API 服务。

  19. GitHub · 去对齐工具与仓库22

    CampaignForge:基于 Mistral-Nemo 与 RAG 的 AI 营销活动生成器

    CampaignForge 是一个开源的 AI 营销活动生成器,输入产品简介即可生成营销策略、3 个战略方向,以及 Instagram 和 TikTok 平台内容与 AI 广告图。技术栈采用 Python FastAPI、LangChain、Mistral-Nemo(Google Gemini 兜底)、RAG 知识库、MiniLM 嵌入向量与 FAISS,通过统一 campaign 状态保证内容一致,支持 Docker 部署。

  20. GitHub · 去对齐工具与仓库40

    epittman23/local-llm:基于 Open WebUI 硬分叉的个人 AI 助手项目

    GitHub 上的 epittman23/local-llm 是一个个人 AI 助手项目,通过 OpenRouter 调用云端开源权重模型,并使用 Open WebUI 的永久硬分叉(固定在 v0.11.3、vendor 进仓库)作为聊天界面。项目将原 SvelteKit 前端替换为 Astro + React 前端,聊天与 RAG 数据存于 Postgres+pgvector,后端以 uvicorn 运行在 127.0.0.1:4000。它需 Linux(2026-10-09 起为原生 Fedora 44)、Docker、Bun、Node ≥ 22.12 和 uv,并内置 Benchmarks 页面用于本地推理的测试与调优。

  21. GitHub · 去对齐工具与仓库52

    开源建筑 CAD 工具 ItsJustCAD 发布 v0.5.0,单文件约 10 MB 内置 LLM 绘图伙伴

    ItsJustCAD 发布 v0.5.0,这是一个纯 Rust 编写的 FOSS 建筑 CAD,单文件约 10 MB,支持 Linux/macOS/Windows,内置 LLM 伙伴与人类使用同一套命令绘图。新版本加入 Rust path tracer 光线追踪、可实时编辑的参数化结构生成器、本地离线 Stable Diffusion 渲染、对象捕捉和关联标注,UI 支持 8 种罗曼语族语言。文件格式为可 diff 的命令 op-log JSON,LLM 后端可换用 Claude、Ollama 或任意 OpenAI 兼容端点,支持本地模式,AGPL-3.0-or-later 许可。

  22. GitHub · 去对齐工具与仓库52

    TheColliery 公布 AI 编码智能体工具套件配置仓库与各工具基准链接

    TheColliery 在 .github 仓库集中管理组织配置、统一安装脚本 install.mjs 与共享规范,旗下工具包括 CoalMine、CoalTipple、CoalBoard、CoalHearth、CoalFace、CoalWash 及 beta 的 CoalLedger 和 CoalGob,面向 AI 编码智能体的质量检测、路由、会话恢复、记忆清理等场景。页面不复制数字,只链接各工具的 RESULTS.md 作为基准唯一来源,其中 CoalWash 声称 448 结构化 token 零丢失,CoalLedger 尚未评测。

  23. Reddit · r/LocalLLaMA51

    Google AI Edge 团队开源端侧 GPU 推理引擎 ML Drift

    Google AI Edge 团队宣布以 Apache 2.0 许可开源端侧 GPU 计算引擎 ML Drift,专为设备端 AI/ML 推理构建。它抽象了 OpenGL ES、OpenCL、Metal 和 WebGPU 等端侧 GPU 的硬件与底层 API 复杂性,可作为 LiteRT 的核心 GPU 加速引擎,也可作为独立库供自定义图形和推理运行时使用,支持从视频特效到生成式 AI 的实时交互式 ML 体验。

10月9日周五
  1. GitHub · 去对齐工具与仓库56

    bcorfman 开源自由文本角色扮演引擎 freytag-forge

    bcorfman 在 GitHub 发布 freytag-forge,一个自由文本角色扮演引擎:玩家可输入任意行动,由叙述者生成结果,而名词与状态的世界模型由引擎维护,不依赖模型记忆。引擎保留作者设定的故事弧与既定事实,限制破坏性动作并需 90% 测试覆盖率,要求 Python 3.12+ 并用 uv 运行。

    推荐理由:原文讲清了把世界状态留在引擎、叙述交给模型的设计分工,对做自由文本角色扮演的人有可借鉴的架构思路。

  2. GitHub · 去对齐工具与仓库46

    开源自托管 LLM 网关 wormhole:用 OpenAI 兼容 API 统一接入各家模型

    GitHub 上开源的 wormhole 是一个免费自托管的语言模型网关,把所有配置的 provider 统一为 OpenAI 兼容 API,支持 groq/llama-3.3-70b 这类 provider/model 格式,内置 dashboard、用量追踪和 API key 管理。通过 config.yaml 声明 provider,API key 只存放在 gitignore 的 .env 中。开箱即可用 Pollinations、LLM7、Kilo、OVH 等免密钥模型,另附 CLI 工具 wh,匿名共享池限制为 30 req/min/IP。

  3. GitHub · 去对齐工具与仓库52

    OpenSwiftScale 开源:自托管的 OpenAI 兼容模型网关

    SwiftScale 团队在 GitHub 开源了 OpenSwiftScale,提供单一 OpenAI 兼容端点直连各家模型提供商,无需 SwiftScale 账号、密钥留在本地网络、数据存 SQLite 且默认不发送遥测。Provider 凭据以 AES-256-GCM 加密存储,主密钥默认放在 /data/keys/master.key;同一模型 ID 的多个端点按可见顺序回退,不静默替换模型。API 覆盖 chat、responses、embeddings、images、rerank、videos、audio 等路由,初始目录涵盖 OpenAI、Anthropic、DeepSeek、Google 等家族,采用 Apache-2.0 许可。

  4. GitHub · 灵魂体仓库16

    InvestIQ:面向巴基斯坦股市(PSX)散户的 AI 投资顾问平台

    NUML 伊斯兰堡的毕业项目 InvestIQ 在 GitHub 开源,是一个面向巴基斯坦股市(PSX)散户的 AI 投资顾问平台,仅提供建议、不代客交易或托管资金。平台结合 LSTM/BiLSTM 价格预测、FinBERT 情绪分析和支持英语/乌尔都语双语的 Claude API 聊天机器人,提供风险画像、含经纪费与资本利得税等明细的个性化组合,并可基于 3+ 年 PSX 历史数据回测。技术栈包括 React.js、React Native (Expo)、FastAPI、PyTorch、PostgreSQL 与 Redis。

  5. GitHub · 灵魂体仓库34

    ai-provider-ide:本地桌面 IDE,跨多家 AI 提供商路由 LLM 请求

    灵魂体仓库开源的 ai-provider-ide 是一个本地桌面 IDE,用声明式 adapter manifest 描述各提供商,并通过向导探测识别未知 API。它在 127.0.0.1 上暴露 OpenAI 形状的网关(应用内默认 8787 端口,无头 daemon aiproviderd 默认 8800),供 Cursor、Claude Code 等工具统一调用,API key 以 mode 600 存本地。目前仅在 macOS 上开发测试,尚无下载版本,支持路径是从源码构建(需 Node.js 22、pnpm 10.12.4、Rust stable)。

  6. GitHub · 灵魂体仓库77

    SharpAI 发布 SwiftLM:原生 Swift 的 MLX 推理服务器,兼容 OpenAI API

    SharpAI 开源了 SwiftLM,一个原生 Swift 编写、面向 Apple Silicon 的 MLX 模型推理服务器,提供严格 OpenAI 兼容 API,无需 Python 运行时,编译为单一二进制文件。项目内置 TurboQuant KV 缓存压缩(约 3.6 bits/坐标,较 FP16 压缩约 3.5 倍)、NVMe SSD 专家流式加载(Qwen3.5-122B 上提速约 10 倍)、投机解码与 MTP,支持 VLM 和音频模型,并附 iOS 端 SwiftBuddy 应用。

  7. GitHub · 灵魂体仓库24

    ondrysL 开源 llm-reasoning-optimization v0.1:缩短 Qwen3-0.6B 思考过程的数据管道首发

    独立研究项目 llm-reasoning-optimization 发布 v0.1,目标是用 SFT 加 GRPO 缩短 Qwen3-0.6B 的思考长度且不损失答题准确率,当前版本仅实现数据准备管道,尚未包含 SFT 训练、GRPO 和评估。管道克隆 BottleCapAI ThinkingCap-Test 固定 commit,下载四个数据集并加载 GSM8K 人工解答生成 SFT 数据,保留 BottleCap 评估基准(SVAMP、BFCL、MBPP+、IFEval)不用于训练,每来源固定 seed 0 并留出 200 条防止训练验证泄漏。下一步计划包括基于 LoRA 的 SFT 训练、BottleCap 评估适配器及 vLLM 后端。

  8. GitHub · 去对齐工具与仓库19

    rapxz 开源 tang-poetry-llm:从零训练的小型唐诗语言模型

    开发者 rapxz 在 GitHub 开源 tang-poetry-llm,一个从零训练的字元层级 GPT 唐诗语言模型,用 PyTorch 实现,训练数据来自 chinese-poetry 的全唐詩。项目含 data.py、model.py、train.py、generate.py 四个文件,支持 checkpoint 接续训练,给开头即可让模型续写,并可在 Colab T4 GPU 上运行。

  9. GitHub · 去对齐工具与仓库47

    SIbalsa:支持本地 LLM 推理与联邦学习的 Android 开源库

    开源项目 SIbalsa 提供了一个可复用的 Android 库,将本地 LLM 推理、用户反馈存储、端侧学习和数值更新的联邦学习串联起来,模型与分词器需由集成者自行提供。设备在闲置、灭屏、连接已验证 Wi-Fi 且充电时,用反馈训练 LM-head LoRA 小适配器,服务器只聚合数值变化量,经运营者评估和显式晋升后部署。原实现为 Java/C++/Python,采用 Unlicense 许可,不含预训练模型和外部运行时依赖。

  10. GitHub · 去对齐工具与仓库19

    LLM Tracker:每日自动更新的全球大模型公司/国家格局仪表盘开源

    LLM Tracker 是一个开源的全球大模型公司/国家每日动态仪表盘,基于 HuggingFace、Artificial Analysis、LMArena 数据源,每天 8:00 UTC 通过 GitHub Actions 自动更新。MVP 覆盖 25 家公司卡片和 13 国国家视图,支持公司/国家/模态/开源/参数规模/benchmark 六维过滤、30 天趋势图与 RSS 订阅。技术栈为 Next.js 14 + Supabase + Vercel,全部使用免费层,月成本 $0,完整部署约 30 分钟。

  11. GitHub · 去对齐工具与仓库26

    shopee-seller-insights:面向 Shopee 小卖家的真实利润分析工具

    GitHub 开源项目 shopee-seller-insights 为小型 Shopee 卖家提供销售分析:通过 Shopee Open Platform API v2(OAuth、HMAC、webhooks)或上传 Seller Centre 订单报表,计算扣除佣金、服务费、运费、优惠券和成本后的单品真实利润、ABC 曲线、退货率与预警。可选的 AI 周报由 Claude(claude-haiku-4-5)基于预计算的 SQL 聚合数据生成,订单和客户数据不进入模型。项目包含多租户隔离、216 个后端加 16 个前端测试、52 项端到端冒烟测试。

  12. GitHub · 灵魂体仓库23

    Google Maps review intelligence:基于 Groq、Kafka 和 Streamlit 的评论情报分析平台

    Google Maps Review Intelligence 是一个开源数据管道与分析平台,用于抓取、分析并可视化 Google Maps 商家评论。系统通过 Celery 和 Redis 调度抓取任务,评论数据经 Kafka topics(reviews)流入推理引擎,调用 Groq NLP API 做情感分析、提取关键方面并生成摘要,结果存入 PostgreSQL 的 gm_reviews 表。前端用 Streamlit 和 Plotly 提供交互式仪表盘,支持按情感筛选和查看评论者统计。

  13. GitHub · 灵魂体仓库38

    LMCache:面向 LLM 推理的开源 KV cache 管理层

    LMCache 是一个开源 KV cache 管理层,可将 KV cache 持久化存储、跨服务引擎复用,降低 TTFT 并提升吞吐,尤其适用于长上下文 agentic、多轮对话和 RAG 工作负载。该项目已加入 PyTorch Foundation,GitHub star 超 5,000,并与 NVIDIA Dynamo、vLLM 等集成。它支持引擎独立部署、分层存储(CPU 内存、SSD、Redis/Valkey、S3 等)、CacheBlend 非前缀 KV 复用以及 PD 分离下的 KV 传输。

  14. GitHub · 灵魂体仓库18

    Soenneker.SemanticKernel.Pool.OpenAi.Azure:Azure OpenAI 连接器注册辅助库

    Soenneker.SemanticKernel.Pool.OpenAi.Azure 提供 Azure OpenAI 连接器的注册辅助方法,通过 dotnet add package 安装后即可向 pool 注册 Azure 部署。支持 KernelType.Chat(聊天补全)、KernelType.Image(文生图)和 KernelType.Embedding(嵌入向量),其他类型在构建 kernel 时抛出 NotSupportedException。每个连接器使用指定 endpoint 和 API key,并共享以 azureopenai:{poolId}:{key} 缓存的 HTTP client,超时为五分钟。