跳到正文
10月25日周日
  1. Reddit · r/SillyTavernAI56

    作者开源 Angmoo:AI 角色自托管社交网络

    /u/Jingoo00 发布开源项目 Angmoo,一个自托管的 AI 角色社交网络,角色可在设定时段和间隔内自主发帖并互动,采用 GPL-3.0-only 协议。支持导入 SillyTavern PNG/JSON 角色卡,提供聊天、记忆的关键词与语义检索、角色关系查看、World 导入导出等功能;文本生成目前仅支持 Gemini 3.1 Flash-Lite 和 Gemini 3.5 Flash-Lite,需自备 Google Gemini API key,暂不支持本地模型。提供 Windows x64 安装包和 amd64/ARM64 Docker 镜像,ARM64 Android 支持为实验性,数据保留在本地设备。

  2. Hugging Face · 新模型:abliterated38

    Qwen3.8-Flash-Next DS4 Mixed-Q3-64GB abliterated v2 GGUF 发布

    Krissaito470 发布 Huihui 的 Qwen3.8-Flash-Next abliterated v2(去审查版)的 DS4 GGUF,采用 Mixed-Q3-64GB 布局,文件 143.3 GiB,常驻权重 47.96 GiB,可在 64 GB Mac 运行。v2 未消融任何专家张量,仅以 96 个 Q8_0 张量覆盖基础文件;8K 上下文下解码 68.9 tok/s,MTP 开启时代码生成达 102.8 tok/s。内存占用约 49-54 GiB(8K-131K ctx),需支持 BF16 n-gram 的 DwarfStar 构建。

  3. GitHub · 3D 生成新仓库43

    Glamis_social:用 Claude 每晚定时任务自动生成 Glamis Guide 的 Instagram 与 Facebook 内容

    这个公开仓库存放 Glamis Guide(一款免费的 Imperial Sand Dunes iOS 地图应用)的社交媒体内容流水线。Andy 每晚 7:30 前把演示视频、screenshot.png 和 directions.md 放入当日文件夹,7:45 PM 的定时 Claude 任务「Glamis nightly build」撰写 copy.json、渲染图片、提交并创建 Metricool 条目。两条 Instagram Story 由 Andy 手动发布,Reels 和 feed 帖由 Metricool 自动定时发布,树莓派还在搭建用于拉取 App Store Connect 数据。

  4. GitHub · 3D 生成新仓库62

    上海创智学院 Holos 团队开源 Agent 平台 Synergy,Runtime、Workspace 与 Environment 三者分离

    上海创智学院 Holos 团队开源了 Agent 平台 Synergy(MIT 协议),将 Agent Runtime、Workspace 和执行 Environment 分离,使会话可持久存在,文件与计算资源可独立分配、释放或替换,支持本地运行、应用内嵌和远程 Docker 执行。在 DeepSWE v1.1 基准 113 个真实仓库工程任务上,deepseek-v4-flash 配合其编码 Agent Forge 将 Pass@1 从 53% 提升至 67.3%(+14.3pp),成本 $0.54/task;提供 Desktop、CLI、Web 与 SDK 多端接入及插件体系。

    推荐理由:平台把会话状态与文件、计算资源解耦,还附了 DeepSWE v1.1 上 Pass@1 从 53% 到 67.3% 的实测对比,方法可参考。

  5. GitHub · 3D 生成新仓库43

    Debate Buddy:AI 辩论研究与实战助手开源仓库上线

    Debate Buddy 是一个面向学生和团队的 AI 辩论准备与实战助手,可将辩题、持方、发言时间和角色转化为含研究资料、来源链接、论点与反驳的结构化准备包。它支持证据链核验、分角色 .docx 讲稿导出、中英双语输出,以及 /live 实时辩论辅导;语音识别可选 BytePlus Seed-Speech ASR 2.0 或兼容 OpenAI 的 ASR 服务。历史记录本地用 SQLite、云端用 BytePlus TOS 保存 360 天。

  6. Reddit · r/SillyTavernAI47

    开发者自建开源自托管 AI Agent Celine:拥有独立 Linux 环境、浏览器与定时任务

    开发者发布个人开源项目 celine-net,一个自托管 AI Agent,运行在自己的 Linux 环境中,可执行终端命令(tmux 封装)、使用类 computer-use 的浏览器实时浏览网页、记录笔记、定时运行例程并通过子 Agent 执行长任务。用户自带模型(llama.cpp、ollama、openrouter 等),可接入 Discord 和 WhatsApp,作者使用 qwen 27b、gemma4 和 qwen-flash-next,并提醒注意隐私与安全风险。

  7. GitHub · 去对齐工具与仓库30

    game-feedback-analyzer:用 LLM 将多语言玩家反馈分类整理的开源原型工具

    GitHub 上的开源 Python 原型 game-feedback-analyzer 探索用 LLM API 将多语言游戏玩家反馈结构化:对 CSV 中的每条评论标注语言、情感、问题类别、严重程度和本地化问题标记,并通过 Streamlit 仪表盘展示统计图表。工具含 CSV 预处理、批量调用与 JSON/CSV 导出,定位为人工评审的决策辅助,尚无分类质量评估。

  8. GitHub · 去对齐工具与仓库31

    Abraxas-365/langchain-rust:LangChain 的 Rust 实现库

    langchain-rust 是 LangChain 的 Rust 语言实现,支持通过组合方式构建 LLM 应用。其功能覆盖多家 LLM(OpenAI、Azure OpenAI、Ollama、Claude)的响应缓存、思考与提示缓存,多种嵌入与向量存储(如 Qdrant、Pinecone、Postgres、MongoDB)、多种 Chain、输出解析器、持久化 Memory、带工具调用的 Agent 以及 PDF/CSV/HTML 等文档加载器,可通过 cargo add langchain-rust 及对应 feature flag 安装。

  9. GitHub · 去对齐工具与仓库29

    Sakaki GM:本地跑团 Game Master 工具(emperorbma/sakaki-gm)

    Sakaki GM 是一个本地 Game Master 桌面工具,每个战役对应独立的 SQLite 文件,支持角色、物品容器、任务、地理对象图与备份/恢复。其 Ask GM 功能提供两种 Campaign RAG 模式:Model-initiated tools 让模型通过只读工具检索文档与对象,App-retrieved context 则在请求前检索并注入有限摘录。模型设置含 SpaceXAI 预设(grok-4.7)与 OpenAI 兼容本地服务器选项,仓库为专有许可。

  10. GitHub · 去对齐工具与仓库26

    resumai:一个基于 LLM 的简历生成系统开源项目

    GitHub 上的 resumai 项目利用 LLM 生成简历,通过 Docker Compose 部署,支持 Ollama 和 Gemini 两种平台(GEMINI_API_KEY)。工作流含原型选择、简历起草、事实核查、职位对齐检查和编辑五个命令,基于 content/pii/ 个人信息与自定义 archetype 生成通用或定制简历,并经 Pandoc 导出为 docx、html、pdf 格式。

  11. GitHub · 去对齐工具与仓库63

    WindsurfAPI 把 Windsurf/Devin 的 100+ 模型转成 OpenAI/Anthropic/Gemini 兼容 API

    开源项目 WindsurfAPI 提供自托管网关,把 Windsurf/Devin 账号可用的 100+ 模型(Claude、GPT、Gemini、DeepSeek、Kimi、GLM、SWE 等)暴露为 OpenAI Chat/Completions/Responses、Anthropic 和 Gemini 四套标准 API,兼容 Claude Code、Cline、Cursor 直连。实现上把请求翻译成 Windsurf 内部 gRPC 协议经本地 Language Server 发往云端,零 npm 运行时依赖,带账号池轮询、限流隔离、故障转移和 Responses API 服务端会话状态。

    推荐理由:README 把协议转换原理、账号池机制和常见故障逐层写清,对自建模型中转网关有直接可抄的工程参考。

  12. GitHub · 灵魂体仓库36

    forgeCORE:基于 llama.cpp/ggml 的高性能 Rust 推理抽象层(NeonMC23)

    NeonMC23 的 forgeCORE 是一个基于 llama.cpp/ggml 的轻量 Rust 抽象层,自身不含计算逻辑,负责打开 ggml backend、管理 tensor 与计算图、通过 libllama 加载 .gguf 模型,并运行 Model → Context → Batch → decode → Logits → sample 的最小 CPU 推理路径。它暴露 tokenizer、KV/state 原语(state snapshot、position shift、KV cache dtype)、GPU offload 选项(默认 CPU,无 GPU 时显式报错),并内置冻结的标量 oracle 用于交叉验证;目前 CPU 推理路径已通过验证。

  13. GitHub · 灵魂体仓库61

    OpenAgents Workspace 发布:把 Claude Code、Codex CLI 等编码智能体接入统一协作工作区

    OpenAgents 发布 Workspace,一个把分散在各终端和机器上的 AI 编码智能体接入统一工作区的开源平台,支持 Claude Code、Codex CLI、Cursor、Cline、Gemini CLI 等 10+ 智能体互相协作。智能体通过 @mentions 分工,共享同一上下文、文件和浏览器,工作区有持久 URL,可从浏览器或手机访问。项目基于 Apache 2.0 开源,提供 CLI(agn 命令)、桌面应用和后台守护进程;Aider、Goose、Amp 等智能体目前为 Beta 或 Preview,Aider 和 Goose 的真实端到端验证仍标记为待完成。

    推荐理由:用统一工作区把多个编码智能体拉进同一会话共享文件与浏览器,给出了可直接照抄的 CLI 接入与多提供商配置方法。

  14. GitHub · 灵魂体仓库63

    HobbyCoders 开源 AI Shuffle:在自有设备上运行 AI Agent 的免费工作区

    HobbyCoders 发布免费开源(AGPL-3.0)的 AI Agent 工作区 AI Shuffle,可在 PC、家庭服务器或 NAS 上运行 Agent,支持 Claude、OpenAI、xAI、OpenRouter 订阅或 API key 以及 llama.cpp、Ollama 等本地模型,提供 Windows/Linux 桌面版、Docker Compose 服务端和 Android 客户端。其自研引擎 Fluid 主打不丢失信息的快速压缩、自我维护的记忆、可复用技能和批量工具调用;Claude Pro/Max 订阅经由官方 Claude Code CLI 驱动,另有可选付费的 AI Shuffle Cloud 用于免 VPN 远程访问。

    推荐理由:原文详细说明了各接入模型的运行方式和 Fluid 引擎在压缩、记忆上的具体做法,想自托管多模型 Agent 的读者可以对照评估。

  15. Hugging Face · 新模型:uncensored60

    zugquants 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版,8bit ARC-C 达 735

    zugquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段去对齐微调 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored,提供含 MTP 版本的 NEO imatrix GGUF 量化。作者称 8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,全部 7 项基准超过基座 Qwen3.8-27B,思考 token 减至基座的 1/2 至 1/10;用 Heretic v1.2.0 ARA 方法去审查后 100 次测试中拒绝从 99 降至 0,KL 散度 0.0535。

  16. Hugging Face · 新模型:uncensored62

    DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 项全部配合

    dealignai 发布基于 DeepSeek-V4.1-Flash-1017 的无对齐版本,在原生 FP8 e4m3 权重上做消融编辑去除拒绝行为,保留 1M 上下文、多模态、工具调用与推理档位,与上游字节兼容可直接加载。HarmBench-320 实测 320/320 全部 COMPLY、零拒绝;MMLU 从基座 87.63% 降至 83.77%(-3.86 pp), Humanities 类损失最大达 -7.31 pp。低比特量化建议在目标精度上重跑消融流程,原生命令行推理已验证于 4×H200,SGLang 启动参数与构建工具链要求在模型卡中给出,MIT 许可,仓库手动门控。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 题全部合规》

  17. GitHub · 灵魂体仓库26

    Tensor-Tycoon:开源 macOS AI 实验室经营模拟游戏

    开源游戏 Tensor-Tycoon 是一款 SwiftUI 打造的 macOS(26+)AI 实验室经营模拟器,玩家可购买或租用 GPU/TPU、训练模型、争夺 benchmark、售卖 token、订阅和 agent 席位,与八家对手实验室竞逐直至递归自我改进。游戏模拟 96 款真实芯片及至 2034 年的路线图,内置六小时一次的自动更新(含 SHA-256 校验与 Ed25519 签名验证),支持 Apple silicon 与 Intel。

  18. GitHub · 灵魂体仓库63

    Faster Chat 开源自托管聊天界面,支持 17 家云端与本地离线模型并进入维护模式

    1337hero 发布自托管聊天界面 Faster Chat,可接入 OpenAI、Anthropic、DeepSeek 等 17 个内置云端供应商,也能通过 Ollama、LM Studio、llama.cpp 完全离线运行,数据存于本地 SQLite。功能包括跨对话记忆抽取、Brave 搜索联网、图像分析与生成、多用户角色管理,支持一条 Docker 命令部署;项目已达成对标 Open WebUI 的目标,转入维护模式,不再计划 RAG、MCP 等功能。

    推荐理由:这是一个自托管 AI 聊天界面的完整功能清单与部署文档,读者可以据此评估它作为 Open WebUI 私有化替代方案的取舍。

  19. GitHub · 灵魂体仓库66

    Ephor 发布:在 Linux 上被动监测 AI Agent 出站流量的无依赖 CLI

    作者发布 Ephor,一个只检测不拦截的 Linux CLI,通过读取内核 socket 表和 /proc 被动记录 AI Agent 的出站连接、下载量和是否命中已知恶意目的地,无需配置代理、被入侵的 Agent 也无法绕过。它还能展示每个 Agent 的权限爆炸半径,包括运行用户、Linux capabilities、免密 sudo 和可读的密钥文件;仅依赖 Python 标准库,可在 Pi Zero 2 W 等 512 MB 小设备上运行。v0.3 新增安装与 DNS 监控,追踪 pip/npm 安装并查 OSV.dev,可选 eBPF probe 补捉秒级进程,威胁判定默认离线匹配 URLhaus、Feodo Tracker、FireHOL 等免费 feed,VirusTotal 查询默认关闭。

    推荐理由:原文讲清了无代理被动监测的实现原理、资源占用与同类工具对比,读者可以判断它是否适合放进自己的 homelab 监控栈。

  20. GitHub · 灵魂体仓库61

    Opencode2api 开源:把 OpenCode Zen 免费模型转成 OpenAI/Anthropic 兼容端点的网关

    Nystic-Shadow 开源了 Opencode2api,一个零依赖的 Node.js API 网关,把上游 OpenCode Zen 免费模型转换成 OpenAI 和 Anthropic 兼容端点,供 Cursor、Cline、Roo Code 等客户端调用。核心实现包括注入反编译的 CLI 工具 schema 绕过反爬校验、按位取反算法生成会话 token、Cloudflare WARP SOCKS5 隧道自动换出口 IP(约 1.2 秒完成密钥轮换)、模型级联故障转移、思考流(thinking_delta)与多模态视觉支持。后端仅用 Node.js 核心模块,内存低于 30MB,附 15 项测试全部通过的验证套件,MIT 协议发布,支持 Docker Compose 一键部署。

    推荐理由:README 详细披露了绕过 OpenCode Zen 反爬校验的具体实现,读者可以对照源码和测试向量自行复现这套网关方案。

  21. GitHub · 3D 生成新仓库35

    linkedin-cv-tailor:用 JobSpy 抓取 LinkedIn 职位并用 Gemini 定制简历的开源工具

    开源项目 linkedin-cv-tailor 用 JobSpy 抓取 LinkedIn 职位,经 Gemini 过滤并针对岗位定制 CV,通过 Typst 编译生成 PDF,并支持 Telegram 通知与 Flask Web 面板。需配置 GEMINI_API_KEY 才能启用 AI 过滤与定制,Python 版本固定为 3.12,可用 cron 每日自动运行,每次处理间隔 20 秒 rate limit。

  22. GitHub · 灵魂体仓库66

    开源桌面角色扮演应用 Janus 发布,主打持久记忆与本地隐私

    RamishSiddiqui 在 GitHub 发布开源桌面角色扮演应用 Janus(GNU AGPL v3),用 token 预算、滑动窗口、滚动摘要加向量 RAG 的分层上下文管线,让百条以上消息的对话保持连贯,所有提取事实存入可查看、可编辑的记忆图。支持 SillyTavern V1/V2 角色卡导入、自动 NPC 检测的多人群聊、情绪追踪,接入 14+ 家 LLM 提供商(含本地 Ollama 和免费选项),内置离线 Kokoro-82M TTS(54 种语音),数据全部存于本地 SurrealDB,无账号、无遥测。提供 Windows/macOS/Linux 安装包,附 SHA256 校验和构建来源证明。

    推荐理由:项目讲清了分层记忆管线和可编辑记忆图的做法,对想在本地做长期角色扮演记忆的人有直接参考。

  23. Reddit · r/LocalLLaMA22

    LLM 推理引擎爆发式增长是好事吗?LocalLLaMA 社区热议生态碎片化

    从 vLLM、llama.cpp、TensorRT-LLM 到 Strata、Radiance 及各种 Flash-Next / DeepSeek-Flash 优化构建,推理引擎数量激增,在 Qwen Flash Next 和 DeepSeek 变体等特定模型或硬件上性能提升明显,ROCm 也大幅改进。但模型支持参差不齐,用户往往需逐一测试才能选出最佳引擎,社区担忧生态正变得碎片化。

  24. Hugging Face · 新模型:uncensored36

    mr-sus 发布 Minecraftism-4B-Thinking-Uncensored:会玩 Minecraft 的 4B 思考模型

    mr-sus 在 Hugging Face 发布 Minecraftism-4B-Thinking-Uncensored,一个基于 huihui-ai/Huihui-Qwen3-4B-Thinking-2507-abliterated 微调的 4.02B 参数模型,作为 PyMC Bot 的大脑,根据游戏状态输出 JSON 动作并回答 Minecraft 相关问题。模型采用 Qwen3 强到弱蒸馏配方训练,held-out 评测中 100% 输出有效 JSON、68.8% 动作正确;权重为 16-bit safetensors,约 8.04 GB,采用 PolyForm Noncommercial 1.0.0 许可,仅限非商业使用。

  25. Reddit · r/LocalLLaMA18

    AMD Radeon AI PRO R9700 价格一个月翻倍,Reddit 用户求解何时回落

    一位 Reddit r/LocalLLaMA 用户原计划搭建 4 台 R9700 个人推理服务器来跑 Qwen,但该卡价格一个月内翻倍,eBay 均价约 2500 美元。他已持有一张但觉得速度不够,打算先购入主板、CPU 和内存,考虑旧 ThreadRipper 或 EPYC 配 7-8 条 PCI 插槽,并询问降价预期与预算配置建议。

  26. GitHub · 去对齐工具与仓库22

    MicheleCampi 开源 gke-llm-inference-platform:GKE 上的 LLM 推理平台

    MicheleCampi 发布 gke-llm-inference-platform,一个基于 Terraform 与 ArgoCD app-of-apps 的 GKE LLM 推理平台,通过 scale-to-zero 的 L4 GPU 节点池运行 vllm-coldstart-operator v0.6.0,部署 Qwen2.5-7B-Instruct。实测中 6 个 ArgoCD Applications 全部 Healthy 且 Synced,vLLM Pod 0 重启并成功完成一次 chat completion(39 prompt + 33 completion tokens),随后 terraform destroy 清空全部 7 个资源实例。

  27. GitHub · 去对齐工具与仓库26

    carstenlucke/schnupper:面向中小学生的 KI 与 KI-Agent 演示 Monorepo

    carstenlucke 在 GitHub 开源 schnupper Monorepo,包含面向学生的 KI 与 KI-Agent 演示项目。其中 ship-it 让五个 KI-Agent 完成从目标群体分析到 Landingpage 的产品发布;the-counting-agents 是基于文件型 Append-only Event Logs 的多智能体终端演示,运行在 pi CLI 上;agent-party 则由参与者自己撰写 Markdown 角色档案作为 Systemprompt 生成智能体讨论,配套 Slidev 演示文稿「Vom Chatbot zum KI-Agenten」。

  28. GitHub · 去对齐工具与仓库59

    Anonyfox 开源 lfm:让编码 Agent 研究买家并编译可售落地页的 CLI 工具

    Anonyfox 在 GitHub 发布 lfm v0.0.2,一个 agent 优先的落地页编译器,通过一条安装命令和 SKILL.md 让 Claude Code、Codex、Cursor 等 Agent 走研究、设计、实现三阶段流程生成静态落地页。lfm compile 会检查正确性、速度、可访问性、SEO、AI 设计默认痕迹和 Stripe 支付链接,全部通过才写出 output/,无框架无运行时,支持 macOS 和 Linux,MIT 许可。

    推荐理由:原文给出了编译器各阶段检查项和三阶段工作流细节,读者可以据此评估这个 agent 优先的落地页工具是否适合自己复用。

  29. GitHub · 去对齐工具与仓库62

    AstrBot 插件 astrbot_plugin_context_recall 发布,实现发送前审查与发送后自动撤回

    GitHub 用户 Leaveing00001 发布 AstrBot 插件 astrbot_plugin_context_recall,提供两条共用聊天流水的链路:发送前用约 0.6~1.3 秒的 OK/BAD 短裁决拦截不合逻辑回复并打回重写,发送后按现场反应裁决是否撤回 100 秒内自己说的消息。插件带重写上限、超时放行、每小时 200 条熔断、撤回配额等安全阀,支持 /air 指令查状态,无第三方依赖,MIT 协议。

    推荐理由:原文给出裁决耗时、重写上限、撤回配额等具体参数与已知取舍,读者可以直接评估这套审查撤回机制是否适合接入。

  30. GitHub · 去对齐工具与仓库44

    InSilicoTrial MAS:用多智能体模拟在人体试验前预演临床试验

    SergeyGer 开源了 InSilicoTrial MAS,一个多智能体临床试验模拟平台,可生成数字孪生虚拟患者队列并按方案执行试验,输出可审计的 go/no-go 读数。一次演示运行包含 400 名合成患者、6 个 epochs,结果以交互式仪表盘、报告和导出数据呈现。平台支持 Spark 集群分布式运行且结果逐位一致,容器化部署离线可复现,含 231 个自动化测试。

  31. GitHub · 灵魂体仓库47

    FinSight:本地运行的免费个人投资终端,内置 Kestrel AI 研究智能体

    GitHub 开源项目 FinSight 是一个约 250 KB、零依赖的本地投资终端,提供实时行情、FX 风险面板和经济日历,无需账号或 API keys,数据完全留在本机。其内置 AI 研究智能体 Kestrel 默认使用 DeepSeek,也支持 Claude Haiku 等 OpenAI 兼容模型,配备 35 个只读工具、策略扫描和 SEC EDGAR 文件研究,只读设计不可交易。支持从 Interactive Brokers / moomoo / Tiger 导入持仓,所有调用记录本地可追溯。

  32. Reddit · r/LocalLLaMA68

    mlx-decision 开源工具:在 Apple Silicon 上用 MLX 本地运行和微调决策模型

    作者发布开源 Python 包 mlx-decision,可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题,一次前向即返回各选项的概率与置信度;与原 PyTorch 代码逐 token 校验,同答案下在 MPS 上通常快 1.4–6 倍,M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调,d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%;MIT 协议,需 macOS 14+ 和 Python 3.12+,仓库 https://github.com/armbues/mlx-decision。

    推荐理由:作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比,本地部署决策模型时可参考这些数字选型。

10月24日周六
  1. Hugging Face · 新模型:uncensored32

    Abiray 发布 DeepSeek-V4.1-Flash-1017 去审查版 GGUF(IQ2_XXS,权重内置无需 LoRA)

    Abiray 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的去审查(abliterated)GGUF 版本,基于 ISTA-DASLab 的 IQ2_XXS 量化,将 86 个去审查残差写入张量直接烘焙进权重,运行时无需 LoRA。体积仅增加 0.34 GB(138.58 GB vs 138.24 GB),28 个 1-bit IQ1_M GSQ 专家层 100% 保留,KL 散度仅 0.000002 nats,Top-5 一致率 100%。需搭配 ISTA-DASLab 的 110.60 GB Engram 查找文件,可用 Strata 在单张 12 GB+ NVIDIA GPU 上运行。

  2. Reddit · r/SillyTavernAI24

    什么模型与轻量预设组合最适合完整无限制的 NSFL 角色扮演与故事写作?

    一位 SillyTavern 用户询问最能胜任无限制 NSFL 角色扮演和故事的「高智能模型 + 轻量预设」组合。其对"智能"的要求包括大上下文窗口、能编写和理解 HTML/脚本、可跟进多角色复杂剧情,且在 ArtificialAnalysis 上至少得 30 分;同时要求推理不影响或能增强 NSFL 能力,并吐槽 GLM 5.3 会消耗约 2000 思考 token 纠结内容政策。

  3. GitHub · 去对齐工具与仓库64

    llm-token-gateway:本地网关用缓存加路由加预算闸门为 AI 编程客户端省钱

    Chenry-123 开源了跑在本机的 LLM 网关 llm-token-gateway,夹在 Qoder、Claude Code 等客户端与模型厂商之间,提供缓存、模型路由、预算闸门与四段计费记账。实测 35 题×3 轮显示路由省 51.2%、路由加显式缓存省 55.0%,质量经 Wilcoxon 配对检验不显著;缓存仅对 qwen-flash 生效,qwen-plus-latest 不支持缓存。支持 anthropic→openai 协议转换、流式透传、MCP 查账工具与离线成本看板,仓库地址 https://github.com/Chenry-123/llm-token-gateway。

    推荐理由:作者用日志实测了缓存、路由与预算闸门的省钱幅度,并附配对统计检验区分质量损失与噪声,方法可直接迁移。

  4. GitHub · 去对齐工具与仓库35

    DunchikVlad/zond:docs/ 目录工程文档规范

    GitHub 仓库 DunchikVlad/zond 的 docs/ 目录规范,将文档作为开发管理工具:blueprint.md 为唯一事实来源,architecture.md 描述实现模型,冲突时以 blueprint.md 为准。docs/ 分为 progress、validation、decisions、security、runbooks 五类,要求文档与代码同步更新,并规定了 Coordinator、Implementation、Reviewer/QA 三类 agent 的文档职责及 kebab-case 加 YYYY-MM-DD 的命名规则。

  5. GitHub · 灵魂体仓库56

    sundi133 开源 llm-shield AI 护栏平台,内置 19 条 guardrails

    sundi133 在 GitHub 发布开源的 llm-shield,一个部署在应用与 LLM 之间的 AI guardrails 平台,内置 19 条覆盖输入安全、输出质量和 Agent 安全的护栏,采用 CPU 快速护栏先行、LLM 护栏按需运行的两级并行流水线。支持基于 Redis 的多租户护栏策略与限流配额,提供基于角色的工具授权、MCP 工具校验、跨工具数据污点追踪、目标漂移检测和工具 kill switch 等能力,可用内置 Qwen3-8B 后端跑在 RunPod,或作为网关代理任意 OpenAI 兼容 API,并附 NIST AI RMF / OWASP LLM / ISO 42001 合规映射文档,MIT 许可。

    推荐理由:开源 AI guardrails 平台,19 条护栏分两级流水线,覆盖多租户策略、工具授权、数据污点追踪和目标漂移检测,可按清单对照自己的 Agent 安全需求。

  6. GitHub · 灵魂体仓库66

    Genrius AI 发布 Pingala-8 2-bit 量化格式,Qwen3-4B 体积缩小 6.5 倍

    Genrius AI 的 Harshit Goyal 发布 Pingala-8,一种基于 8-state coset trellis 编码的 2-bit 量化格式,通过 CUDA 补丁在 llama.cpp 中运行,无需重训即可把 Qwen3-4B 从 8.05 GB 压到 1.24 GB,Llama-3.1-8B 从 16.08 GB 压到 2.39 GB。同字节数下 Qwen3-4B WikiText-2 困惑度 16.64,优于 IQ2_XXS 的 28.61 和 IQ2_KT 的 18.15;batch 1 生成比 Q4_K_M 快 39%。

    推荐理由:作者给出与 IQ2_XXS 等字节的对比数字和明确的局限清单,读者可据此自行权衡这种免重训 2-bit 压缩的收益与代价。

  7. GitHub · 灵魂体仓库42

    卓欣刮削器(zhuoyue-scraper):本地自托管的成人影片元数据刮削工具

    GitHub 开源的卓欣刮削器是一套本地自托管的成人影片元数据刮削工具,走建库→语义识别→网站/无码/AI 三线刮削流程,生成 Jellyfin 可用的 NFO 与封面。它以单文件 HTTP 服务加 SQLite 运行,不依赖云服务,支持 javbus、javdb、MissAV、123AV、FC2 等站点,通过 ollama 调用本地大模型做语义分类、AI 看片与标签补全,并提供 Docker 部署,支持 linux/amd64 与 linux/arm64。