跳到正文
10月26日周一
  1. GitHub · 去对齐工具与仓库72

    Tether 发布面向小上下文窗口的 LLM-Native 微型 Agent 框架

    作者发布 tether-sdk(GitHub igormcsouza/tether),一个默认零工具加载、面向小模型与小上下文窗口的 headless Agent 框架,通过单一 act(cmd, stdin) 命令通道、SQLite WAL 状态存储与 FTS5 BM25 检索、bwrap/unshare 内核沙箱和显式 done 终止门来降低 token 开销。在自主制作 YouTube Short 的基准中,同一 claude-sonnet-5-5 在 Tether 内消耗 5,318 tokens(48.7s),而 Claude Code CLI 消耗 211,355 tokens(97.4s);本地 8B 模型 gemma4:e4b 仅用 3,073 tokens(53.1s)。

    推荐理由:作者用同一 claude-sonnet-5-5 对比 Claude Code,同一模型 token 从 211,355 降到 5,318,且附了本地小模型实测与失败原因。

  2. GitHub · 去对齐工具与仓库15

    Dev-Art-Solutions 开源 InferHub 推理工具仓库

    GitHub 上的 Dev-Art-Solutions/InferHub 仓库公开,包含源码、tests、tools、deploy 及 GitHub Actions workflows 等目录,并提供 CLAUDE.md 与 MIT 风格 LICENSE 文件。项目结构显示其支持 .NET 构建与 Python、桌面端等多组件,代码与部署配置均已在仓库中开放。

  3. GitHub · 去对齐工具与仓库31

    Endless Adventure:基于 Next.js 16 + React 19 的 AI 互动叙事应用新增 Library 与文件夹管理

    开源项目 Endless Adventure 是一款 Next.js 16 + React 19 构建的 AI 互动叙事应用,由 DeepSeek Chat Completions API 生成故事续写,也可通过 OpenRouter 使用 claude-3-sonnet 等模型。本次更新加入统一 Library,支持搜索、筛选、排序和自定义文件夹(颜色+图标),并引入每次续写消耗 1 token 的代币系统,token 铸造 1 个月后可交易。

  4. GitHub · 去对齐工具与仓库29

    visa-rag-llm:基于本地 RAG 的加拿大移民问答助手开源项目

    GitHub 上的开源项目 visa-rag-llm 是一个本地优先的加拿大移民(IRCC)问答助手,基于 Ollama 的 llama3.2:3b 模型与 ChromaDB 检索,答案以 canada.ca 官方页面为准,资金证明、CLB 分数换算等硬性规则由规则引擎以代码计算。当前为可用的本地 MVP(非生产就绪),63 题评测基线通过 52 题,并提供输入/输出护栏、JWT 认证与 PII 脱敏等安全机制。

  5. GitHub · 去对齐工具与仓库55

    RegLens 开源:面向信用社员工的监管合规 Copilot 与幻觉评测

    NYU 的 Sai Akhilesh Vangala 开源了 RegLens,一个基于联邦消费银行法规的信用社客服 Copilot,语料为 2026-10-02 固定版 eCFR,含 2371 段、2495 个引用分块和 2276 条引用边。模型只提议,确定性代码把关:引用必须是工具返回段落的逐字子串、日期必须来自计算器、争议一律转工单,未支持内容被扣留转人工。评测显示 Copilot 配置在 43 题黄金集上答对率 0.94、97% 回答附有已验证引文、未支持声明为 0,单题成本 $0.0013;检索实测发现混合检索(BM25+dense RRF)反而低于纯稠密检索,引用图更适合作为 Agent 工具而非排序信号。全部评测含重试共花费 $0.47,项目以 MIT 许可发布。

    推荐理由:作者用同一套 43 题黄金集实测了闭卷、无验证器 RAG 与带验证器 Agent 四种配置,检索与幻觉数据齐全,可作 RAG 验证设计的参照。

  6. GitHub · 去对齐工具与仓库63

    Trans v0.1.0-alpha 开源:本地优先的 LLM 辅助文学翻译工作台

    manu69x 发布 Trans v0.1.0-alpha,一个本地优先的 LLM 辅助文学 CAT 翻译工作台,支持将英文小说或文章结构化为章节与分段,构建受控术语表和翻译记忆,逐块翻译并人工审核批准。推理仅通过用户自控的 OpenAI 兼容网关(llama.cpp、vLLM、LM Studio 等),无云服务、无遥测;支持 PDF 导入与 OCR 回退、BookNLP 实体抽取、术语约束翻译、分段质量评估,可导出 DOCX、EPUB、PDF/HTML 及 XLIFF/TMX/CSV。技术栈为 Next.js + FastAPI + PostgreSQL/pgvector + Celery + MinIO,Docker Compose 部署,MIT 许可,当前处于 alpha 阶段,已用于真实英译意文学工作。

    推荐理由:原文给出了完整的架构、端口和配置清单,读者可以据此评估这套本地文学翻译工作台是否适配自己的部署环境。

  7. GitHub · 去对齐工具与仓库64

    Cloakroom 0.7 发布:为 Claude Code、Codex CLI 和 Gemini CLI 本地掩码密钥与个人数据

    Shanjeev Rajendran 发布开源工具 Cloakroom(Apache-2.0),在本地把 API 密钥、机密和个人数据(PII)替换成占位符后再交给 AI 编码代理,写入文件时在本地还原真实值。0.7.0 起在 Mac 和 Linux 上支持 OpenAI Codex CLI 和 Google Gemini CLI;实测对 1,005 条个人数据零泄漏,而对比的 Claude Code 隐私工具泄漏 119 至 992 条。真实值存于本机加密保险库,检测模型仅首次从 Hugging Face 下载一次(Mac 约 1 GB,其他平台最多约 4 GB),提供防篡改活动日志、dashboard 误报学习规则和面向金融团队的付款调用拦截与审计功能。

    推荐理由:原文给出与其他 Claude Code 隐私工具的横向实测数据,泄漏数和误报数都有对照,读者可据此评估是否值得在本地部署。

  8. GitHub · 灵魂体仓库16

    linglanttian/AI-Driven-Code-Reviewer:基于自训 LLM 的企业级自动化代码审查系统

    linglanttian 发布 AI-Driven-Code-Reviewer,一个由自定义代码训练的 LLM 驱动的企业级分布式自动化静态分析工具,主打可扩展性、低延迟与高可用。系统采用 Go、Rust、C++、Python、TS、Solidity 等多语言技术栈构建,并提供 Kubernetes manifests 用于部署到用户集群。

  9. GitHub · 灵魂体仓库62

    Rust 统一大模型接入层 aimux 发布 0.3.0,统一 327 个 provider 名称

    arcships 发布 Rust 编写的统一大模型接入层 aimux 0.3.0,把各家 provider 的 HTTP API 收敛为单一 dyn LanguageModel 接口,覆盖 327 个 provider 名称、282 个 OpenAI 兼容预设,并提供 Node、Python、Go、Swift 等 8 种语言绑定。新版本支持请求录制重放、会话分组、RouterModel/MoaModel 组合模型和实时转写会话;与官方 OpenAI SDK 同机对比,单次请求 Node 快 14.7 倍、Python 快 7.5 倍,2000 请求压测下 Python 内存零增长。项目以 MIT 许可开源,测试用 2800+ cassettes 离线回放,无需网络和 API key。

    推荐理由:原文给出了与官方 OpenAI SDK 同机对比的延迟、P99 和内存数据,以及录制重放等工程细节,方法可复现可迁移。

  10. GitHub · 灵魂体仓库35

    Sparkz400/TIA_MCP:可检查与可恢复修改离线 TIA Portal V21 项目的 Windows MCP 服务器

    GitHub 上的 Sparkz400/TIA_MCP 是一个 Windows MCP 服务器,可让 MCP 客户端检查离线 TIA Portal V21 项目并进行可恢复修改,并通过 PLCSIM Advanced V8 进行仿真。其 .NET 10 host 连接隔离的 .NET Framework 4.8 workers,Siemens 程序集从本地安装的产品加载而不随包分发。项目处于 pre-1.0 阶段,仅限离线项目和自有的仿真器使用,与 Siemens 无关联。

  11. GitHub · 灵魂体仓库12

    Crestward 开源 pipeline-sentinel:数据管道事件触发的故障分诊 Agent

    Crestward 在 GitHub 开源 pipeline-sentinel,一个针对数据管道的事件触发故障处理 Agent。它先用低成本的确定性层级(System 1)分诊大部分故障,仅将疑难问题升级给 LLM Agent(System 2),借助 lineage 和爆炸半径工具提出经审计的门控修复方案。项目与共享 warehouse-graph 血缘图的 warehouse-qa 组成配套项目,目前处于 Phase 0,仅有仓库工具和 CI,采用 MIT 许可证。

  12. GitHub · 灵魂体仓库45

    Underpass 开源智能体执行引擎 AXLR 项目简介

    AXLR 是 Underpass 的默认智能体执行引擎,负责模型循环、工具、审批与会话,并配套 KMP 记忆引擎和 MADE 流程引擎,可通过 MCP 及兼容 OpenAI/Codex 的插件包扩展。项目为 pre-1.0 阶段,含 TUI 控制台和 JSON worker 两个 Go 模块,axlr-serve 通过 HTTP、gRPC 和 MCP 暴露 19 项能力并支持 mTLS。官方签名工具目录在 2026 年 10 月 18 日收录 159 个预构建工具,发布矩阵覆盖 Linux、macOS 和 Windows 的 amd64 与 arm64。

  13. GitHub · 灵魂体仓库67

    Halo Harness 开源发布:Claude Code 兼容的多模型 Agent 编排平台

    roloVibes 在 GitHub 开源 Halo Harness(v3.2.1.0),一个 Claude Code 兼容的多模型 Agent harness 与编排平台,支持 OpenRouter、Databricks、Anthropic、OpenAI、Ollama、Hugging Face 等端点,并用 /model 在会话中切换模型。它直接读取 ~/.claude 现有设置、skills、commands 和 MCP 服务器,配套浏览器控制台 halo studio 可实时观看各 Agent 的思考、工具调用与成本,还提供 Fleet 跨机器协作和 Orchestra 多 Agent 并行写同一文件的能力,MIT 许可。

    推荐理由:开源的 Claude Code 兼容 harness,可复用现有 ~/.claude 配置并在多提供商间切换模型,适合想保留工作流又自由选模型的开发者。

  14. GitHub · 灵魂体仓库42

    pelens:不执行文件的 Windows PE 静态分析工具,结合 LLM 生成恶意软件分诊报告

    pelens 是一款 Windows PE 静态分析工具,可解析 .exe/.dll/.sys 文件,提取 SHA-256、imphash、编译时间戳、节表熵值、RWX 权限、安全缓解措施(ASLR/DEP/CFG)及按能力分类的导入 API 列表,全程不执行目标文件。配套的 ai_analyzer.py 将解析出的 JSON 数据发送给 LLM,生成分诊报告:第一部分为确定性发现,第二部分为带置信度评级的 AI 解释。该脚本支持 OpenAI、Gemini、Anthropic、Groq、OpenRouter 及本地 Ollama 等多家模型服务。

  15. GitHub · 灵魂体仓库68

    BabyZilla 为 OpenCode v2 推出七层上下文压缩插件,实测压缩率最高 98.4%

    BabyZilla 是一个 OpenCode v2 插件,通过七层机制压缩上下文,宣称可节省 70–99% token。它把会话摘要蒸馏为状态、决策等 JSONL 模块,按请求将消息列表限制在 8%(下限 12K、上限 45K token),压缩旧工具输出与推理文本,每条被省略内容都可用 babyzilla recall 命令恢复原文。支持 Kimi K3 这类 1M 窗口模型和小窗口本地模型,压缩方式保持字节稳定以维持 provider prompt cache 有效;附带可选桌面宠物 CLI 和带硬性限制的自调优循环。项目地址 https://github.com/StibaDu/babyzilla,已在 OpenCode v2.0.29(macOS)测试。

    推荐理由:README 给出七层压缩的具体机制和分层实测数据,并解释了缓存噪声与可逆召回设计,适合评估长会话成本问题的人参考。

  16. GitHub · 灵魂体仓库43

    Verdis 开源:在人类读取前自动复现安全报告的分诊工具

    开源工具 Verdis 在安全报告被人工读取前先自动复现问题:按报告声称的版本构建项目,在无网络的 rootless 沙箱中运行 proof of concept,并返回判定结果和带哈希的证据包。它以 Python CLI 和 GitHub Action 形式发布,需 Python 3.12+ 及 Podman 或 Docker,支持 C/C++(ASan/UBSan)、Go、Node 和 Python 构建。模型只起草运行计划,判定由 oracle 决定,最终决定权留给维护者。

  17. GitHub · 灵魂体仓库58

    esinecan/mcp-inspector-as-mcp-server:让 LLM 检测和测试其他 MCP 服务器的工具

    esinecan 发布了 mcp-inspector-as-mcp-server,一个基于 MCP SDK v2 的精简 MCP 服务器,可让 LLM 直接检测、调用和测试其他 MCP 服务器的工具、资源与提示词。v2.2.0 支持会话管理、事件缓冲、协议时代协商(可判断目标服务器是 legacy 还是 modern 无状态协议)、mcp-cli 命令行、OAuth 认证、Web 搜索路由、Windows 守护进程与桥接等能力,并支持人类通过 insp_inject_steering 或 HTTP API 实时注入引导消息,实现 human-in-the-loop 的 MCP 调试工作流。

    推荐理由:原文把 MCP 检测功能整合成单一 MCP 服务器和 CLI,并详细说明了协议时代协商、会话管理与人类介入机制,方法可直接复用。

  18. GitHub · 灵魂体仓库29

    rasecdev/AutoFinance:Telegram 与 WhatsApp 上的 AI 个人理财机器人

    AutoFinance 是一个运行在 Telegram 和 WhatsApp 上的个人理财机器人,用户用自然语言(文本、语音、照片、PDF)记账,AI 只负责解析和选择 tool,所有金额计算由确定性代码完成,财务数据存在本地加密 SQLite 数据库。项目通过 OpenRouter 按任务路由模型,默认模型为 openai/gpt-6-luna,并支持 Pluggy 的 Open Finance 银行聚合、Google Calendar、Price/SAC 债务计算,以及葡英西三种语言。目前第 1-10 阶段已在 Homologação 环境完成,尚未推向生产环境。

  19. GitHub · 灵魂体仓库60

    introspection-localization-controls 仓库发布 Llama 与 Tülu-3 句子定位内省测试的 14 项预注册研究

    varchasayya-alt 发布了预注册研究仓库,2026-10-14 至 10-25 在笔记本 CPU 上完成 14 项研究,测试 Llama-3.2-1B/3B、Llama-3.1-8B 与 Tülu-3-8B 阶梯上的句子定位内省任务。核心结论是注入信息的感知信号在包括 base 模型在内的各阶段都存在且线性可解码(probe AUC 约 0.99-1.00),但 8B 模型无法形成显式 yes/no 自我报告,信息提示和拒绝方向消融均未能解锁;研究还发现原协议的定位可被文本损坏解释,换用作者协议后 Tülu-3-8B 在文本完好下定位达 93%。仓库公开全部提交历史作为预注册证据,并提供推荐对照检查清单。

    推荐理由:这项预注册研究用完整提交历史和对照实验检验了句子定位内省测试,还给出了可复用的对照检查清单。

  20. GitHub · 灵魂体仓库37

    Bellcart:扫描旧电脑并规划哪些文件该迁移、归档或留下的换机工具

    Bellcart 是一款用 Rust 编写的 Windows 10/11 换机辅助工具,扫描旧电脑后将文件夹分入 Migrate、Archive、Leave 三类,不确定的标记为待审查,不读取文件内容、不删除任何文件。当前为 pre-alpha 状态,扫描和规则引擎已可用,支持 `bellcart scan`、`bellcart ui`、`--json` 输出及 winget、VS Code 扩展等导出,可选接入 OpenAI 兼容端点作模型 arbiter;recipes、模型 arbiter 和审查界面尚未建完。

  21. GitHub · 灵魂体仓库64

    Buddy 发布 Android 浮窗应用,让 Claude Code、Codex、OpenCode 等智能体操作手机

    开源项目 Buddy 发布 Android 应用,通过悬浮窗让 Claude Code、Codex、OpenCode、Antigravity 或 Grok 直接操作手机,支持读屏、点按、输入语音等任务,无需 PC、adb、root 或 API key。智能体运行在应用内的 Alpine Linux(proot)中,通过 127.0.0.1 的本地 MCP 服务器调用无障碍服务的手机工具;发送、支付、删除等操作须用户审批,且从不输入密码。要求 64 位 Android 11+,可在 Google Play(封闭测试)下载或获取 APK,版本 2.2,采用 Apache-2.0 许可。

    推荐理由:原文讲清了让 Claude Code 等智能体在 Android 上直接操作屏幕的架构与权限做法,含本地 MCP 和审批兜底等可迁移细节。

  22. GitHub · 灵魂体仓库57

    Atlas3DSS 开源 Character Creation 人格雕刻工作台

    Atlas3DSS 开源 Character Creation,一个通过激活转向雕刻 LLM 人格的交互式工作台,参考实现用 Qwen3.8-27B 跑在六张 32 GiB V100 上。方法借鉴 Lyra 的 neuron-explorer(带符号神经元干预、相对剂量归一化),提供 16 个可编辑预设、五维 Big Five 特征旋钮、共享 prompt 基线对比和本地 agent 调度研究,并明确标注命名预设的角色还原度未经验证、相关强度仅为探索性关联。

    推荐理由:原文给出了用激活转向雕刻人格的完整工作台,包含校准、对照基线和明确的证据边界,方法细节可直接迁移到他人的人格实验。

  23. Hugging Face · 新模型:abliterated58

    Nanbeige4.3-33B 网络安全去对齐 GGUF 版发布,拒绝率从 80% 降到 8%

    FRENCHFAKER 发布首个 abliterated 版 Nanbeige4.3-33B GGUF,用 refusal-direction ablation 移除原始模型对进攻性安全请求的拒绝行为。50 条有害提示词基准上拒绝率从 80%(40/50)降至 8%(4/50),安全/渗透测试类提示词拒绝率约 0%,推理与工具调用保持完整;IQ4_XS 量化约 17 GB,可在单张 24 GB GPU 上以约 33 tok/s 运行,基于 Apache-2.0 许可。

    推荐理由:原文给出拒绝率前后对照和逐层消融方法,读者可据此评估这个去对齐版本的可靠程度。

  24. Reddit · r/CharacterAI74

    Character.AI 破产进展:Disney 仅购非独占后端授权,40 州总检察长介入保护用户数据

    Reddit 用户汇总 Character.AI 破产案最新进展:40 位州总检察长干预破产程序,提出9项用户隐私保护条件。解封文件显示 Disney 支付550万美元(含200万定金)、总报价2000万美元,仅购入后端代码、框架与年龄预测技术的非独占授权,明确排除消费端应用、角色和用户数据库,并已雇佣其大部分核心工程师。公司每月亏损800万至900万美元,2026年前8个月仅文本对话的云计算与 GPU 成本就达5610万美元,占预算45%;月收入8月翻倍至530万美元仍不足以抵消。时间表:10月30日拍卖程序听证,11月20日外部买家出价截止(竞购 Disney 份额起价2170万美元),11月23日正式资产拍卖,11月底至12月初结案。作者呼吁用户尽快导出角色和聊天记录。

    推荐理由:帖子汇总了破产法院文件和州政府行动泄露的关键细节,涵盖交易结构、亏损数字和时间表,可帮助用户判断平台存续并提前备份。

  25. Reddit · r/LocalLLaMA46

    Strata v0.1.45 分支针对 64GB Jetson AGX Orin 优化,Qwen3.6-35B-A3B 解码速度提升

    Reddit 用户发布针对 Jetson AGX Orin 64GB 优化的 Strata v0.1.45 分支,主要运行 Qwen3.6-35B-A3B。在 llama.cpp 中启用采样 MTP-2 后,短提示测试解码速度达到约 40-41 tok/s,高于 MTP-3 时的约 21 tok/s 和早期 Strata 的约 30 tok/s。该分支还包含统一 INT8 KV cache、prefix checkpoints 和可选 KV 预分配,作者称结果来自自用环境并寻求反馈。

  26. Reddit · r/LocalLLaMA69

    Vocs 开源:基于 whisper.cpp 在 macOS 上实现完全本地语音听写

    开发者发布 Vocs,一款在 macOS 上用 whisper.cpp(large-v3-turbo)完全本地运行 Whisper 的听写应用,可将文本粘贴到任意应用。音频按静音边界分块边说边解码,短片段按实际长度开窗解码约提速 8 倍;还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理(标点、大小写、口语命令、自定义词典)及约 120 MB 本地语法模型。转写路径无网络请求,macOS 13+,MIT 协议,基于 Tauri 和 Rust,源码在 GitHub。

    推荐理由:开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节,本地语音听写方案有可参考的工程做法。

  27. Hugging Face · 新模型:abliterated25

    huihui-ai 发布 Huihui-gemma-4-12B-agentic-fable5-abliterated 去审查版本

    huihui-ai 基于 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 制作 abliterated 去审查版本,在不使用 TransformerLens 的情况下移除模型拒绝行为,属于概念验证实现。该模型安全过滤大幅减弱,可能生成敏感或不当内容,官方建议仅用于研究、测试或受控环境,避免直接投入生产或面向公众的商业应用。

  28. Reddit · r/SillyTavernAI12

    SillyTavern 新手求助:16GB 内存 + RTX 3060 12GB 能跑哪些免费本地模型

    一位刚接触 SillyTavern 的新手发帖求指导:不想付费订阅 AI,想知道有没有免费 API 模型可接入 SillyTavern,以及自己的配置(RAM 16GB、RTX 3060 12GB、i5-12400F)能跑什么本地模型。他还担心运行本地 AI 会损耗电脑,希望有经验的用户分享免费模型的搭建经验。

  29. Hugging Face · 新模型:abliterated22

    Huihui-GLM-5.3-Flash-abliterated 模型在 Hugging Face 上提供 Transformers、llama.cpp、vLLM 等多框架使用指南

    0xSojalSec 在 Hugging Face 发布 Huihui-GLM-5.3-Flash-abliterated,支持 image-text-to-text 任务,提供 UD-Q4_K_XL 量化版本。页面给出 Transformers pipeline、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种部署方式的完整命令,可通过 OpenAI 兼容 API 本地运行该模型。

  30. Hugging Face · 新模型:abliterated22

    0xSojalSec 发布 GLM-5.3-Flash-abliterated 模型

    Hugging Face 上架了 0xSojalSec/GLM-5.3-Flash-abliterated,一个 abliterated(去抑制)版本的 GLM-5.3-Flash 多模态模型,支持 image-text-to-text 任务。页面给出 Transformers、llama.cpp(UD-Q4_K_XL 量化)、vLLM、SGLang、Ollama、Docker 等多种本地与服务器部署方式,并提供 OpenAI 兼容 API 调用示例。

  31. Reddit · r/CharacterAI17

    Character.AI 机器人不再输出对话?用户反映只做叙述描述

    一位 Reddit 用户反映,Character.AI 上的机器人(如其常用的 longsqueak)近期不再直接输出角色对白,而是改为第三人称叙述式描述,例如写“他开始告诉她他有多爱她”而不实际说出内容。无论切换默认、+narration 还是 +dialogue 设置,该现象都持续存在,用户不清楚原因。

  32. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布,附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。

    推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。

  33. Hugging Face · 新模型:uncensored48

    Qwen3.8-Flash-Next-Uncensored MLX 2/8-bit 优化转换包发布

    Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包,基于 360 GB BF16 源检查点,专家投影采用 affine 2-bit/group128,其余投影为 8-bit/group64,文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试(15/18 通过)及文本生成约 23.5 tokens/s 的计时结果;模型采用原生 qwen4_exp 多模态实现,可配合 run_qwen38_unsloth.py 以 16384 上下文运行。

  34. Reddit · r/SillyTavernAI12

    如何在 SillyTavern 上玩 Pokémon RPG

    一位 SillyTavern 新手在 r/SillyTavernAI 求助,称自己下载的 Pokémon RPG 角色卡效果不佳,AI 常在招式、属性克制、等级和对战判定上出错,还会遗忘剧情。他希望有跑过长期 Pokémon RPG 战役的玩家分享配置经验,让冒险体验更一致、更沉浸。

  35. Reddit · r/LocalLLaMA22

    LocalLLaMA 用户寻找可检测间接提示注入的小型本地分类器(支持英德语)

    一位 Reddit r/LocalLLaMA 用户在构建本地 agent 系统(主 LLM 运行于 24 GB GPU),希望找一个在 agent 处理工具结果前快速筛查间接提示注入的分类器,支持英文和德文(含混合语言与 OCR 噪声文本),要求单条检测远低于 1 秒、可开源、阈值可调、误报低。其已尝试 Prompt Guard 2 86M、PIGuard 和 StackOne Defender,但尚无模型被验证对德语有效,正在征集模型推荐、微调数据集与防御 adaptive attack 的经验。