跳到正文
10月26日周一
  1. Reddit · r/SillyTavernAI18

    大家在做什么模型来做更长更复杂的 RP?——Reddit r/SillyTavernAI 用户吐槽 GLM 5.2 表现变差

    一位 Reddit r/SillyTavernAI 用户发帖询问大家用什么模型做长篇、复杂角色扮演(RP),称今年早些时候用 GLM 5.2 体验很好,但现在它常在推理中反复纠结、耗尽 token 且频繁出错。该用户使用包含三名心理设定复杂角色的中世纪奇幻剧本,并怀疑现用服务商与此前用的 Chutes 提供的 GLM 可能不同。

  2. Reddit · r/LocalLLaMA22

    CrowdGPT:一个协作训练的大语言模型项目

    开发者推出 CrowdGPT 项目,目标是在不建数据中心、不投入数百万美元的情况下,协作训练一个 10 亿参数的模型。参与者可用自己的 PC 独立训练并将贡献汇入全局模型,项目开源且 100% 公开训练数据和权重。当前模型规模仅作概念验证,作者正在征集反馈以降低参与门槛。

  3. Hugging Face · 新模型:abliterated60

    KaedeTai 发布 occamy-1.0-abliterated 的 MLX 4-bit 量化版并移植 MTP 草稿头

    KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit,约 20 GB。仓库装回 Accio-Lab 原版的 vision tower,并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头;该头在 Occamy 上草稿接受率达 65.6%(每周期 2.13 个 token),高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动,42 个对照张量中 40 个与未去对齐基座逐位一致,其余两个正是消融所改的矩阵。

    推荐理由:作者给出了逐张量校验和同机对照的 TMMLU+ 分数,可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。

  4. Reddit · r/SillyTavernAI22

    SillyTavern 新手求推荐:有"灵魂"和情感深度、且无审查 NSFW 的模型(PC + iPhone 方案)

    一位 SillyTavern 新用户在 PC 上完成部署,并通过 OpenRouter 在 iPhone 上远程使用,寻求兼具 Gemini 式情感深度与完全无审查 NSFW 的角色扮演模型。他测试的 DeepSeek V3 过滤过严,Magnum v4 72B 无审查但回复机械、缺乏情感温度,此前 Gemini 应用靠 BLOCK_NONE 安全设置绕过过滤,更新后仍屏蔽最后 1% 的露骨内容,故询问模型推荐、价格与 ST 预设。

  5. Reddit · r/SillyTavernAI8

    Reddit 用户征集 5GB 以下小型角色扮演模型推荐

    一位 Reddit 用户在 r/SillyTavernAI 询问 5GB 以下小型模型在角色扮演(RP)方面的推荐。他桌面端已确定使用一个较大的 MoE 模型,副机则仅用 CPU 跑小模型做工具调用等任务,想知道是否有调优良好的微型 RP 模型表现出色,并向社区征集当前心头好。

  6. GitHub · prompt 工程新仓库70

    Live Character Guide 发布:LLM 角色卡工程化构建指南

    作者发布俄语指南 Live Character Guide,将 LLM 角色卡构建流程化为 SPINE 心理骨架、行为锚点、语音隔离、系统提示词到成品卡,兼容 SillyTavern,面向 12B–32B+ 模型。指南含 10 部分、62 章节、4 张完整示例卡与诊断测试部分,指出语音漂移、行为无动机、故障不可见三类典型问题需靠构造而非改提示词解决;仓库以静态 HTML/CSS/vanilla JS 构建并部署在 GitHub Pages,MIT 许可。

    推荐理由:把角色卡当行为引擎来构造,给出三类典型卡件故障的成因与对应修法,适合想系统性理解卡为什么失效的人。

  7. Hugging Face · 新模型:abliterated26

    Qwen2.5-7B-Instruct-abliterated-64k 发布:元数据修复版 GGUF

    R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k,这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版,非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据(factor 2.0),以满足 Hermes Agent 64,000 token 最低上下文要求,权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝,Q4_K_M 版本 4.68 GB。

  8. Reddit · r/LocalLLaMA61

    RTX PRO 4000 Blackwell SFF 120W 超频实测:Qwen3.8 27B 生成提速 67%

    /u/iam31337 在 RTX PRO 4000 Blackwell SFF(24 GB,工厂 70 W 无辅助供电)上用修改版 VBIOS 将功率提至 120 W,Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s(+67%),Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次,两模型量化与投机解码设置不同,非严格受控对比;作者提醒 120 W 超出 PCIe 75 W 槽位预算,属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark

    推荐理由:作者实测同一款卡上两个模型的功耗超频收益差异,给出具体功率与频率参数,并坦承样本量与量化设置的局限。

  9. Reddit · r/LocalLLaMA70

    Strata 调参实战:RTX 4090 跑 Qwen3.8-Flash-Next IQ3_S 达 2076 PP 与 95-105 tok/s 解码

    作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参,附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%;同时给出负面结果,--expert-cache 按 MiB 而非槽位设置(填满显存时 −72%)、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。

    推荐理由:作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位,附完整可用配置。

  10. GitHub · 3D 生成新仓库49

    Videobook:本地优先的生成媒体笔记本工作室

    Videobook 是一个本地优先的生成媒体笔记本工作室,通过 npm 以 videobook 命令安装(需 Node.js 22+),支持 MCP 服务器和 Web UI。书籍以类型化 cell(prompt、character、scene、image、video)组成有向图,所有变更记录为不可变的 DoltLite 修订。视频生成默认单条 20 秒竖版视频,图像用 Nano Banana 2.1(2K)、视频用 Seedance 2.5(720p 含音频),还支持 Vidu Q4 图生视频(3–16 秒、540p 至 4k),规划使用 OPENAI_API_KEY,生成使用 KIE_API_KEY,每个付费阶段需明确批准。

  11. GitHub · 3D 生成新仓库15

    Rajaryanx7/schemaforge:基于 Google Gemini 的 AI PostgreSQL Schema 生成工具开源

    GitHub 新仓库 Rajaryanx7/schemaforge 开源,这是一个用 Go 构建、调用 Google Gemini API 生成 PostgreSQL schema 和 SQL 的 AI 工具。它提供带确认的 schema 执行、动态 CRUD REST API、输入校验和自动化测试,依赖 Go、PostgreSQL、pgx 和 Docker。项目正处于活跃开发中,作者提醒生产环境使用前需人工审查生成的 SQL。

  12. GitHub · 3D 生成新仓库10

    ProximaAI:aicodeproxima 的新 3D 生成仓库

    GitHub 上出现一个名为 ProximaAI 的新 3D 生成仓库(aicodeproxima/ProximaAI)。仓库包含 api、docs、src、scripts、supabase 等目录,并附带 supabase_schema.sql、vercel.json、vite.config.js、CLAUDE.md 与 .proxima-buildlog.jsonl 等文件,项目采用 Vite 与 Supabase 构建。

  13. GitHub · 3D 生成新仓库30

    XmaxSDK-Unity 开源:基于 Xmax 模型的实时交互式视频生成 Unity SDK

    Xmax-AI 发布 XmaxSDK-Unity,一套面向 Xmax 模型实时交互式视频生成的 Unity SDK,覆盖媒体采集、视频流、实时生成与端侧渲染的端到端管线。SDK 支持 RealtimeModel.X2_1_1_Preview_CN / X2_1_1_Preview_US 区域预览模型(不再支持 X2_0 和 X2_0_Pro),外部输入在 200,000–2,100,000 像素范围内保持宽高比,按 1024×1920 或 1920×1024 画布生成,上下行质量默认自适应并支持 L1–L5 手动调节。

  14. GitHub · 3D 生成新仓库32

    ImageMetaAI 开源:本地 AI 为 Shutterstock 与 Adobe Stock 生成图片元数据

    ImageMetaAI 是一款基于 C# 和 WPF 的 Windows 桌面应用,使用本地 Ollama 模型分析图片并生成图库元数据。视觉模型 qwen2.5vl:7b 生成图片描述,元数据模型 qwen3:14b 生成标题、关键词和分类,结果可人工编辑后导出为 Shutterstock 和 Adobe Stock 专用 CSV。图片全程本地处理不修改原文件,仅位置识别可选调用 OpenStreetMap Nominatim。

  15. GitHub · 3D 生成新仓库36

    Black Dice Engine:本地优先的 AI 桌游 Game Master 引擎新仓库开源

    GitHub 新仓库 Black Dice Engine 是一个本地优先的 AI Game Master 引擎,可将 Windows 游戏 PC 变成桌游 RPG 指挥中心,提供 GM 实时叙事、玩家手机角色卡、确定性骰子与游戏状态追踪、战役记忆和本地场景生成。项目通过本地模型适配器对接 Ollama、KoboldCPP 等推理运行时,并经 ComfyUI 路由本地图像生成,数据与私有素材保留在仓库之外。目前处于早期原型阶段,已含 Node/TypeScript 游戏服务器、GM 仪表盘和玩家伴侣端外壳。

  16. GitHub · 3D 生成新仓库26

    poland-internship-hunter:面向波兰实习求职的 Windows 桌面应用

    GitHub 新仓库 poland-internship-hunter 是一款用 React 18、TypeScript、Tailwind CSS 和 Electron 33 构建的 Windows 桌面应用,帮助一名 IPCA 学生寻找 2027 年 2-6 月在波兰的 4 个月实习。应用整合 Greenhouse、Lever、Ashby 招聘接口,内置 CD Projekt RED、Bloober Team 等已验证公司名录,提供 0-100 可解释匹配分、14 阶段 Kanban CRM、10 套邮件模板生成器及每日 20 封的批量发送限制。默认离线模板引擎可 100% 免费运行,数据存储于本地 SQLite 3 数据库。

  17. GitHub · 3D 生成新仓库17

    vasil-sd 开源 RFS 项目仓库

    GitHub 新上线 vasil-sd 的 RFS 仓库,以 Rust 项目结构组织,包含 crates、examples、fuzz、tests、ide 及训练相关目录,附带 training.py 和 all_rfs_training.jsonl 训练数据文件,并提供 DESIGN.md、CODEGEN.md 等多份文档。

  18. Reddit · r/SillyTavernAI17

    如何在 SillyTavern 中搭建哈利·波特全程时间线角色扮演的记忆管理

    一位新手玩家正在用 SillyTavern 进行哈利· Potter 全时间线逐日角色扮演,将霍格沃茨故事时间线和角色卡整理成 txt 文件导入,以减少 token 和成本。角色扮演已进行约一周,作者把时间线当作记忆保存情节、课程与角色关系,并希望进一步了解 export deck、扫描故事 lore 及扩展插件等更好的记忆管理方法。

  19. Hugging Face · 新模型:abliterated20

    Hugging Face 上架 abliterated 量化模型 llm-qwen3.8-flash-next-abliterated-iq4xs

    abliterated 版模型 yuanyeyuanye/llm-qwen3.8-flash-next-abliterated-iq4xs(UD-IQ4_XS 量化)现可通过 llama.cpp 加载,支持 llama serve 启动兼容 OpenAI 的本地服务器与 llama cli 终端推理。模型也可经 Ollama、Docker、Lemonade 拉取运行,并能接入 Pi、Hermes、OpenClaw 等工具,覆盖 macOS、Linux 与 Windows 平台。

  20. Hugging Face · 新模型:uncensored60

    dealignai 发布 Nanbeige4.3-33B 的 UNCENSORED GGUF 量化版本

    dealignai 在 Hugging Face 发布 Nanbeige4.3-33B 的 UNCensored GGUF 版本,移除基础模型的拒绝行为,提供 Q6_K(25.3 GB)、Q4_K_M(18.7 GB)、IQ2_XXS(8.7 GB)三种量化,均附带基于 1M token 校准内容的 imatrix,保留原生 think on/off 与 512K 上下文。与同量化基础版对比,MMLU chat 下降 Q6_K −1.74pp、Q4_K_M −1.09pp、IQ2_XXS −4.53pp;6 提示多轮合规测试三个量化均为 6/6 通过、0 次拒绝。

    推荐理由:原文给出三种量化的 MMLU 前后对照和多轮拒绝率实测,读者可据此评估去掉拒绝行为的能力代价。

  21. Reddit · r/LocalLLaMA22

    Strata 与 DeepSeek Flash-V4.1-1017 IQ2_XS 在四张 R9700 上的运行测试

    用户在 Epyc 7402P、256GB DDR4 ECC 3200 八通道内存平台上测试了四张 R9700 运行 Strata 和 DeepSeek Flash-V4.1-1017 IQ2_XS,发现受 R9700 内存带宽偏慢影响 prefill 环节最耗时,且系统内存占用偏低。Radiance 曾将 Flash Next 在 R9700 上的 prefill 和 tok/s 性能提升 3-4x,Niko 表示该优化将很快进入 Strata。

  22. Reddit · r/LocalLLaMA16

    Swift 1.5 Qwen Flash Next IQ3XXS(GSQ RCO)Abliterated 版能否只下载变化的权重?

    一位 r/LocalLLaMA 用户在运行 Swift 1.5 Qwen Flash Next 的 GSQ RCO IQ3XXS 量化版本,但因模型偶尔拒答,想再准备一个 Abliterated 版本,仅在少数场景下使用。由于存储空间只剩不到 1TB,他询问能否只下载两个版本之间变化的权重并合并,避免完整双份下载。

  23. GitHub · 去对齐工具与仓库65

    OpenNotebookLM 开源:自托管的 Google NotebookLM 替代品

    tom1030507 在 GitHub 发布 OpenNotebookLM,一个自托管的 Google NotebookLM 替代品,支持导入 PDF、Word、网页和 YouTube 字幕并基于来源给出带引用的回答。文档、嵌入向量与对话存于本地 SQLite,混合检索用 sqlite-vec 加 FTS5/BM25 并以 RRF 融合,支持 CJK 分词;LLM 可接 Claude、OpenAI 兼容 API 或本地 Ollama/llama.cpp/vLLM,未配置 provider 时返回 model_used 为 fallback 的抽取式回答。

    推荐理由:README写清了混合检索、嵌入模型内存占用实测和未配LLM时的抽取式回退,读者可据此判断这个自托管 NotebookLM 替代品的实际能力边界。

  24. GitHub · 去对齐工具与仓库35

    Humagen:人与智能体共享的协作工作区(原 warp)发布

    GitHub 上的开源项目 Humagen(原名 warp)发布,提供人类与 AI 智能体共享的工作区,可创建智能体、跨智能体分支会话、调度任务、编辑与运行确定性 eval,并支持租户权限与用量核算。项目可与 Slack、GitHub 集成,为智能体提供以个人凭证执行的 MCP 工具;目前处于 pre-1.0 早期阶段,单库单副本、会话存于内存,可用 Go 与 pnpm 本地部署。

  25. GitHub · 去对齐工具与仓库31

    ABI Analyst:基于 SQL 与 OpenAI 的循证式 AI 商业分析开源项目

    shahil5z 在 GitHub 开源 ABI Analyst,一个用 SQL、统计、机器学习和 OpenAI 回答两年线上零售销售问题的 AI 商业分析工具。语言模型不计算任何数字,所有数值由 SQL 和 Python 在只读 DuckDB 数据库上算出,OpenAI 仅在解析不确定的问题和措辞解释时使用,每个问题最多两次调用,无 API key 也可用模板回答。解释中每个数字必须与计算证据一致,并支持同比增长、7-90 天预测、异常检测、RFM 客户分层与显著性检验等功能。

  26. GitHub · 去对齐工具与仓库44

    AxiomCode 0.1.1:将自然语言转为 Lean 4 形式化验证代码

    AxiomCode(0.1.1)可将算法的自然语言描述转为经数学证明正确的 Python 和 C 代码,每个产物附带可独立审计的密码学证书,仅 verified 状态表示 Lean 4 已机器校验证明。依赖极少,仅 stdlib、cffi 和经审计的 cryptography 包,支持 llama.cpp、vLLM、Ollama、Mistral、OpenAI、Anthropic 等 LLM 后端,提供免费 Community 版与 $49/month 的 Pro 版。

  27. GitHub · 去对齐工具与仓库41

    HAYAT:Windows 本地优先的私有 AI 助手开源项目

    GitHub 上的 HAYAT 是一个运行在用户自己电脑上的 Windows 本地优先 AI 助手,基于 Ollama 运行 HAYAT-35B-A3B(Qwen3.6-35B-A3B,约 3B 激活参数)模型,无需云端账号和付费 API。它支持语音对话、网络研究、摄像头与屏幕识别、Windows 应用控制、图像视频生成和长期记忆,外发操作需用户批准,另有 2.5-4.3 GB 的 HAYAT-Open-4B 轻量模型可选。

  28. GitHub · 去对齐工具与仓库42

    Iago:开源 Python CLI 越狱与护栏绕过测试工具

    Iago 是一个 Python CLI 渗透测试工具,对自有模型批量运行 guardrail 绕过技术库,多轮重复试验并生成含加固建议的渗透式报告。每次测量给出 95% CI,提示词泄露按预埋密文评分,伪造历史攻击带安慰剂对照,还通过实际 tool call 测试 agent。默认目标是 Ollama,也支持经 --authorized 测试 Anthropic API。

  29. GitHub · 去对齐工具与仓库42

    PS5LM:在越狱 PS5 上按需运行本地 LLM 推理的 Home Assistant 集成

    ps5lm_ha 是一个 Home Assistant 集成,可在越狱 PS5 的 GPU 上通过 llama.cpp 按需运行本地 LLM 推理,并提供 OpenAI 兼容 API,Qwen 3.5 9B Q6_K 约 45 tok/s。它会通过 Remote Play 唤醒主机、登录并启动 PS5LM(模型加载约 2 分钟),完成后送回待机模式,支持模型切换与以开关和服务形式接入自动化,无需云端和额外 Python 包。

  30. GitHub · 去对齐工具与仓库22

    fatma-fendri 的 RAG-Chatbot:基于 RAG 架构的 PDF 问答聊天机器人

    开源项目 RAG-Chatbot 实现基于 RAG(检索增强生成)架构的问答系统,用户可上传自定义 PDF 构建临时知识库,减少 LLM 幻觉。技术栈包括 FastAPI/Uvicorn 异步后端、LangChain 流程编排、Sentence Transformers(all-miniLM-L6-v2)嵌入、ChromaDB 向量存储,并通过 Groq API 调用 Llama-3.1 等模型低延迟生成答案。

  31. GitHub · 去对齐工具与仓库35

    filingcheck:验证 SEC 10-K 财报问答的 LLM 智能体

    Nazrul Huda Shanto 开发的 filingcheck 是一个回答上市公司 SEC 10-K 财报问题的 LLM 智能体。工具调用前会对模型传入的公司、财年、指标和单位等参数做 skeptical 校验,答案中每个数字再对照 SEC XBRL 数据标注 Verified、Unverified 或 Conflict。项目处于 7 周计划的第 1 周(基础与数据阶段),尚无结果,需 uv、GNU make 和 Docker 运行。

  32. GitHub · 去对齐工具与仓库64

    mneme-llm 开源:用单个 SQLite 文件给 AI 伴侣做记忆与心情

    RustColeone 发布 mneme-llm,把 AI 伴侣的记忆和心情保存在一个不依赖特定模型的 SQLite 文件里,更换 DeepSeek、Claude、GPT 或本地模型后仍可复用。召回按证据、新鲜度、重要性和情绪打分并限额注入,笔记以数据而非指令形式交给模型;心情为 0–100 数值加七种情绪,按半衰期衰减。仅依赖 Python 标准库,支持 OpenAI 风格 API、Claude、Gemini 的工具定义及 MCP 服务器,MIT 协议开源。

    推荐理由:原文讲清了单文件记忆库的证据评分召回、心情衰减和跨模型便携的构造方式,可迁移到自己的 AI 伴侣项目。

  33. GitHub · 去对齐工具与仓库63

    HaikeiLabs 发布 Agentware:Agent 工具调用策略执行与审计中间件

    HaikeiLabs 发布 Agentware,一套支持 Go、Python 和 TypeScript 的 Agent 工具调用策略执行与审计中间件,每次工具调用经过单一拦截点,按声明式规则执行 allow、deny、filter 并生成追加式审计记录,结构在更换框架或模型时保持不变。它让发起任务的人类主体穿越每层子代理委派仍可追溯,记录调用触及的资源(如表、桶、端点)并沿委派链归因 token 成本;配套的 Kei 为仅存元数据的控制平面,客户内容、凭证和索引不进入 Kei,SDK 已发布至各语言公共 registry,当前版本 0.12.0 要求 kei-proxy 不低于 v0.3.0。

    推荐理由:它把审计记录做成跨框架不变的统一结构,让人类发起者在多层子代理委派后仍可追溯,这个资源级血缘思路可迁移到其他 Agent 治理场景。