跳到正文
10月14日周三
  1. GitHub · 3D 生成新仓库37

    qfzhao670 开源 Bilibili 视频文案工具 aigc-casebase-video-script-workflow

    qfzhao670 在 GitHub 发布跨平台桌面工具 aigc-casebase-video-script-workflow,用于 B 站视频文案制作。工具支持输入多个用户 UID(每个 1–1000 条)或手动输入 BV 号构建案例库,用 Whisper large-v3-turbo 转写音频,并以 qwen-max 生成摘要和关键词、qwen3.7-max 生成文案;Apple Silicon Mac 自动使用 MLX GPU 后端,触发 412/352 风控时可读取 Chrome 登录 Cookie 自动重试。

  2. Hugging Face · 新模型:uncensored31

    Qwen-Image-2.1 Uncensored 量化版发布,支持 GGUF/Safetensors/MLX 本地图像生成

    Hugging Face 上发布 Qwen-Image-2.1 的 Uncensored 量化版本,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 为 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤,可直接生成成人及 NSFW 图像,配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 使用。

  3. Hugging Face · 新模型:abliterated30

    huihui-ai 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated-GGUF 无审查版模型

    huihui-ai 基于 nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2 发布 abliterated 无审查版 GGUF 模型,通过 abliteration 移除模型拒答行为。仅第 2 至 52 层被消融,支持 llama.cpp 以 262144 上下文运行。官方提示安全过滤大幅降低,建议仅用于研究或受控环境。

  4. arXiv · cs.AI47

    ReTerm:面向自我改进终端智能体的恢复训练方法

    研究者提出 ReTerm,一种通过学习从自身失败任务中恢复来实现自我改进的终端智能体训练方法,并构建了用于 SFT 冷启动的 ReTerm-10K 数据集和从失败状态分叉生成多次自恢复尝试的在线 RL 算法 ReTerm-GRPO。基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上取得 34.8% Pass@1,较基座模型提升 14.6 分,且在多类错误下的恢复率均高于标准 GRPO。代码、数据和模型已开源。

  5. GitHub · 灵魂体仓库34

    GitHub 开源 llm_adapter:多模型 LLM 推理编排器,支持 Tool Calling 与多协议

    GitHub 开源项目 llm_adapter 提供支持 Qwen、Nemotron 及 Claude 协议的多模型 LLM 推理编排,兼容 Anthropic Messages API 与 OpenAI Chat Completions 格式,内置联网搜索、计算器等 Tool Calling 能力,20 项测试全部通过。通过 YaRN 8× RoPE 缩放支持 1M token 上下文,支持 Qwen 27B/35B 与 Nemotron 120B,在 4x RTX 6000 Ada 上以张量并行运行,5 分钟内即可克隆安装部署。

  6. GitHub · 3D 生成新仓库36

    FinRAG:本地金融文档问答 RAG 管线开源项目

    GitHub 开源项目 FinRAG 实现完全本地的金融文档问答,支持 TF-IDF 或 MiniLM 检索,以及抽取式基线或本地 Qwen/Qwen2.5-0.5B-Instruct 生成。内置语料仅含 4 篇文档、12 个 chunk 和 18 个问题,TF-IDF 在该语料上 Recall@1 达 0.833、Recall@3 达 1.000,运行无需付费 API。

  7. Hugging Face · 新模型:abliterated34

    Huihui-Qwen3.8-27B-abliterated 2.65bpw 量化版上架 Hugging Face

    Derpyhue 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 2.65bpw 量化版本,该模型是通过 abliteration 技术移除拒绝行为的 Qwen3.8-27B 无审查版本。最新更新仅对第 18 至 51 层做了消融,其余层保持原样以保留更多原模型性能,MTP 和视觉部分未改动,可通过 ollama 运行 huihui_ai/Qwen3.8-abliterated 或 transformers 加载使用。

  8. Hugging Face · 新模型:uncensored58

    xdfhg 发布 Qwen3.8-27B-Uncensored-Cyber 去拒绝版

    xdfhg 在 Hugging Face 发布基于 Qwen3.8-27B 的网络安全领域去拒绝模型 Qwen3.8-27B-Uncensored-Cyber,采用 recipe-v2 单向拒绝消融加 β=1.0 范数保持投影,仅对第 4 层起更深层处理,保留视觉塔与 MTP 投机解码头。bf16 评测显示 100 个 held-out 网络攻击提示全部开放(上一版为 93/100),confab 从 1.0 降至 0.867,事实准确率 1.0 优于上一版 0.933,GSM8K 持平且零退化,并提供 -W4A16-AWQ、NVFP4 及 llama.cpp GGUF 量化版本。

    推荐理由:原文给出 v2 配方与前后两版的拒绝率、事实准确率对照数据,可据此评估这版去拒绝在开放度与能力保留之间的取舍。

10月13日周二
  1. Reddit · r/LocalLLaMA62

    Basalt:针对 Blackwell 优化的 Qwen 3.8 Flash Next 推理引擎,支持动态视觉加载

    作者发布 Basalt,一个面向 Qwen 3.8 Flash Next 的推理引擎,从 Strata fork 并针对 Blackwell 深度调优,仓库在 github.com/jesdga95/basalt。新增 --vision dynamic 模式让图像编码器平时驻留 RAM、空闲时几乎不占显存,图像到达时借用 expert cache 槽位上传编码器(约 30 ms)编码后再回填(约 60 ms),不发图即零开销且不影响文本性能;编码器用 Basalt 自带 kernel,速度最高达 llama.cpp 的 3 倍,并给出移植用的 commit(9bfb90a、a704c65、efd23d9)。

    推荐理由:作者给出动态视觉编码器的具体显存与耗时数字,其他引擎可按提供的 commit 直接移植这套做法。

  2. Hugging Face · 新模型:uncensored31

    Qwen3.5-9B-Uncensored-HauhauCS-Aggressive 发布:移除拒答的激进版去审查模型

    HauhauCS 发布 Qwen3.5-9B 去审查激进版模型,在 465 个拒答测试中约 0 次拒答,宣称零能力损失、不改动数据集,但可能在回复末尾附带简短免责声明。模型为 9B dense 参数、262K 原生上下文(YaRN 可扩展至 1M)、原生多模态,提供 BF16(17 GB)至 Q4_K_M(5.3 GB)多档 GGUF,支持 llama.cpp、LM Studio 等运行时。

  3. Reddit · r/LocalLLaMA42

    后续:将稠密模型转换为 Mixture-of-Experts,新模型 Qwen2.5-1.5B-MoE-A0.9B 首次在 GPU 上也明显提速

    用户 Bayliner1980 继续稠密模型转 MoE 的转换工作,发布 Qwen2.5-1.5B-MoE-A0.9B,并放出 0.5B 与 1.5B 两款 GGUF 版本。Q4_K_M 下 GPU 生成速度提升 32%、CPU 提升 41%,是首次在 GPU 上也明显快于稠密模型的转换;代价是 WikiText-2 困惑度升高约 41%,ARC 下降最多,GGUF 体积也更大(1.1 GB vs 0.9 GB)。作者称此为概念验证,该方法在 MLP 占比更大的大模型上应更划算。

  4. Reddit · r/LocalLLaMA32

    Qwen3.8-Flash-Next 125B-A6B NVFP4 在 Strata 分支上完成 Three.js 跑马挑战

    Reddit 用户用 sergqwer 的 Strata 分支(strata-nvfp4)在单张 RTX 5090 32GB 上运行自行转换为 NVFP4 的 Qwen3.8-Flash-Next 125B-A6B hybrid MoE,完成 Three.js 低多边形 3D 马循环动画挑战。纯智能体工作时长 23m 10s,共 87 步、124,443 输出 token,cache 命中率 99.0%,解码中位 116 t/s,262,144 上下文下 33 分钟内零压缩。

  5. Reddit · r/LocalLLaMA41

    Strata 引发 LocalLLaMA 用户热议:处理速度达 llama.cpp 的 3 倍

    一位 Reddit 用户分享 Strata 推理加速体验:加载 qwen3.8-flash-next-unsloth-ud-q4_k_xl、fp16 KV、130k 上下文时,长提示预填充(PP)从 llama.cpp 的 10 分钟缩短到 23 秒,文本生成速度约 3 倍(约 57 tok/s),expert cache 命中率 94.5%。用户连续使用约 10 天,结果稳定,且近期更新后速度进一步提升。

  6. Hugging Face · 新模型:uncensored38

    Qwen-Image-2.1 Uncensored 量化版本发布,支持本地图像生成

    Hugging Face 用户 Joscio 发布 Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 多种格式,文件大小从 4.00 GB(MLX 4-bit)到 14.23 GB(BF16)不等,其中 Q4_K_M(4.60 GB)被推荐为体积与质量的最佳平衡。该版本移除内置安全检查器,可直接生成 NSFW 等敏感图像,需配合 ComfyUI 与配套的 qwen3vl_8b 文本编码器及 VAE 使用,遵循 Qwen Research License。

  7. GitHub · 去对齐工具与仓库42

    VidLens-YouTube-Summarizer:用 Qwen / Paraformer 生成中文 YouTube 视频总结的开源工具

    开源工具 VidLens-YouTube-Summarizer 支持粘贴 YouTube 链接后自动提取字幕、音频与画面,并调用阿里云百炼的 qwen-plus、qwen-vl-max 和 paraformer-realtime-v2 生成结构化中文总结。工具采用字幕优先的降级链、按文本密度(阈值 1.2 字/秒)自动触发视觉识别,长音频切段并发识别可将 38 分钟音频的处理从约 10 分钟压到约 2 分钟。提供 Gradio 网页界面与 CLI,结果可一键打包下载,仅在 Windows + 国内网络环境完整验证。

  8. GitHub · 灵魂体仓库39

    kunhailP/llm-welfare-discretion:研究 LLM 如何裁量大规模福利案件与"值得救助"线索的 GitHub 工作仓库

    该仓库研究大语言模型在美国 SNAP 福利案件中是否让法律不允许的"值得救助"线索(求职努力、失业可控性)影响裁决。预注册后续实验显示:向 Qwen3-14B/32B 提供中间计算量可完全消除线索效应(准确率 0.95-1.00),Qwen3-8B 无此效果(资格判定 0.68-0.74),Ministral-3-8B 部分改善(0.56/0.40→0.85/0.59)。GPT-5 复测 1554 条生成子样本全部达 1.00,0 线索翻转。

  9. Reddit · r/LocalLLaMA19

    OrcaRouter 博客文章引质疑:Qwen3.8-Flash-Next 发布当天发文称 27B 才有独立证据

    Reddit 用户发现 OrcaRouter 发布一篇博客,称 Qwen3.8-Flash-Next 刚发布、尚无独立 benchmark,并在 arena 排名、legal-agent 研究和第三方吞吐测量等方面只有 27B 模型有独立证据,因此建议不要使用。文章被指部分内容混乱且无价值、行文疑似 AI 生成。发帖者还称 9/10 个 Qwen3.8 模型在其环境可用,唯独 OrcaRouter 的不行。

  10. GitHub · 灵魂体仓库50

    lulilulili/HeadToTailUICardByDeviceSideLLM:端侧小模型语义 API 调用验证工程发布,Qwen2.5 四档实测 4000 次调用

    GitHub 项目 HeadToTailUICardByDeviceSideLLM 验证端侧小模型驱动语义 API 调用,当前覆盖 10 个领域、417 个伪 API,默认题组为 1000 条中文单服务用例。Qwen2.5 0.5B/1.5B/3B/7B 各完成 1000 条共 4000 次调用,7B 最终语义正确率最高(77.1%),1.5B 高于 3B 且耗时更低;尚未接入 HarmonyOS 真机,业务执行为 mock,处于可行性验证阶段。

  11. Reddit · r/LocalLLaMA18

    如何在双 A100 80GB 上提升推理性能?

    Reddit 用户 vitamins1000 在双 A100 80GB(PCIe Gen4 x8)+ EPYC 7402P 的 Proxmox 直通配置上运行 llama.cpp 和 qwen3.8 flash next UD-Q4_K_XL,上下文设为 1835008(7 个 262k slot)。单用户生成速度约 50-70tk/s,但 2-3 用户并发时骤降至 10-15tk/s。楼主用于长会话 agentic 编码场景,询问是换 vLLM 还是每卡各跑一个 qwen3.6-35b-a3b,并倾向 MoE 模型。

  12. Reddit · r/LocalLLaMA22

    Improve my vibe-slopped pipeline:求助优化全 AI 生成的 40k 行代码库开发流水线

    一位开发者在 r/LocalLLaMA 求助:其约 40k 行代码的个人文件管理应用全程由 AI 编写、自己不看代码,主要用 DeepSeek API 开发,偶尔以 Qwen3.8 Flash Next(Q5、262k 上下文、2x5080 + 128GB DDR5)做代码审查,并花 10-20€ 用 Kimi K3 全库审计,Hermes 编排加 Qwen3.8 27B 作子智能体。他询问是否有更好的代码审查模型、GLM-5.3 是否更擅长安全漏洞修复,以及 skills 是否值得使用。

  13. Hugging Face · 趋势模型66

    AutoTrust 发布开源决策模型 JEV-35B 及 NVFP4 量化版

    AutoTrust AI 在 Hugging Face 开源决策模型 autotrust/JEV-35B,基于 Qwen3.5-35B-A3B 微调,Apache-2.0 许可,只做 System 1 决策、不生成文本。Decision Index 0.3 公开套件得分 59.73(JEV-27B-VL 为 53.64),单 B200 中位延迟 204 ms;同时放出 NVFP4 版本,下载 25.6 GB、显存 23 GiB,可在 32–48 GB GPU 上运行,Decision Index 得分 59.18、96.6% 答案与 bf16 一致。

    推荐理由:模型卡给出 Decision Index 公开套件逐项分数、延迟与 NVFP4 量化对照数据,并演示了游戏与机器人控制等短板场景。

  14. Reddit · r/LocalLLaMA28

    Qwen3.8-27B 与前沿模型及其他模型的对比测试

    Reddit r/LocalLLaMA 用户在编码、数据分析与本地 RAG 等任务上对比了 Qwen3.8-27B 与前沿模型,测试集从 500+ 题精简而来,只保留能区分模型的题目。结果显示 or-qwen-qwen3.8-27b 以 bf16 原始精度运行,or-qwen-qwen3.8-flash-next 未披露量化且最常被截断(单次测试最大 16,384 token,提高到 32k 后仍有过思被截断),iq3 GSQ-RCO 表现不差,mradermacher 的微调版持续出色。作者结论:本地模型的输出仍需 Claude 或 GPT 复核。

  15. Hugging Face · 新模型:uncensored44

    Qwen3.8-27B-Uncensored 的非对称 GPTQ Int4 量化版发布,可单卡跑在 Intel Arc Pro B70 上

    darioooooo0o 发布 orcarouter/Qwen3.8-27B-Uncensored(OrcaRouter 基于 Qwen/Qwen3.8-27B 的 abliterated 微调版)的非对称 GPTQ Int4 量化版,group 128,lm_head、MTP head 和 vision tower 保留 BF16。在 Intel Arc Pro B70 + vLLM XPU v0.31.0 上单卡实现 262,144 token 上下文与视觉、MTP k=4,短提示解码 64-128 tok/s,KL 散度 0.018-0.060、top-1 一致率 94.1%,优于对称 GPTQ Int4 g128 方案。

  16. GitHub · 去对齐工具与仓库39

    Shanmin123/llm-notecards:SIGIR 2026 论文“LLM 生成笔记卡片何时有助于检索与重排”的代码与数据

    该仓库发布爱丁堡大学发表于 SIGIR 2026 SynthIR 研讨会的论文代码与数据,研究将 Qwen3-4B-Instruct-2507 生成的六字段结构化笔记卡片作为离线文档表示是否提升检索与重排。在 Qilin 基准的 113,548 条笔记语料上,StructuredConcat 使微调 BERT 双编码器 MRR@10 从 0.2748 升至 0.3085,卡片增强训练使 Qwen3-Reranker-0.6B 从 0.5260 升至 0.6970。结论是卡片作为增强比作为替代更可靠。

10月12日周一
  1. Reddit · r/LocalLLaMA49

    Precision Numerics 发布 1-bit 模型 Boole-1.7B,性能超越 Bonsai-1.7B

    Precision Numerics 发布基于 Qwen3-1.7B 的 1-bit 模型 Boole-1.7B,打包权重仅 247 MB,比 BF16 小 13.9 倍,在 10 项评测中平均保留 BF16 模型 85.9% 的分数,超越 1-bit Bonsai-1.7B 并接近 1.58-bit 版本。该模型面向英文、非思考模式的低延迟任务,可在浏览器本地运行,也支持 vLLM 和 llama.cpp,权重已在 HuggingFace 开源。

  2. Hugging Face · 新模型:abliterated28

    Huihui-Qwen3.8-27B-abliterated-GGUF:Qwen3.8-27B 去审查版本发布

    huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布 Huihui-Qwen3.8-27B-abliterated-GGUF。该版本仅对第 22 至 52 层(0 起始索引)做消融,并新增 Underdog-Saluki、Swift、Ternary、GSQ-RCO、UD-DW 等系列,其中部分量化将需消融权重转为 Q8_0 以提升响应质量,MTP 和视觉部分未改动。模型支持最新 ollama(huihui_ai/Qwen3.8-abliterated)和 llama.cpp(上下文 262144),因安全过滤大幅减弱,建议仅用于研究或测试环境。

  3. Hugging Face · 新模型:uncensored68

    KENIC-1 发布 Qwen-Image-2.1-Turbo 去对齐编码器 GGUF 权重

    AtomicChat 在 Hugging Face 发布 Qwen-Image-2.1-Turbo 的去对齐文本编码器 GGUF,将 Qwen3-VL-8B-Instruct 的拒绝方向投影移除,可作 stable-diffusion.cpp 的 --llm 使用。作为聊天模型,英文有害提示拒绝率从 88.9% 降到 1.2%,俄语从 38% 降到 0%,MMLU 保持 77.35% 不变。在 45 条敏感图像提示上与原版编码器无一翻转,提供 BF16 到 Q2_K 共 7 档量化,AD-Q4_K 画像偏移为普通 Q4_K_M 的一半。

    同一新闻,精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%》

  4. Reddit · r/LocalLLaMA42

    在手机上运行微调 0.8B 视觉模型的免费收据扫描应用,实现逐项消费追踪

    一位开发者发布了一款免费 Android 收据扫描应用,在手机本地运行微调后的 Qwen3.5 0.8B 视觉模型,将收据照片解析为包含商店、日期、总额和每个明细项的 JSON,无需上传收据。作者同时微调了 OvisOCR2(其本身也是 Qwen3.5 0.8B 的微调版本),iOS 版本尚待 Apple 审核数天。应用的模型将开源,用户也可选择连接自己的 OpenAI API 兼容服务器。

  5. Hugging Face · 新模型:abliterated28

    mradermacher 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 上发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GGUF 静态量化版本。提供的量化档位按大小排序,包括 Q2_K(11.0 GB)、Q4_K_S(15.9 GB,标注 fast、recommended),以及 mmproj-Q8_0(0.7 GB)和 mmproj-f16(1.0 GB)的多模态补充文件。weighted/imatrix 量化暂不可用,用户可通过 Community Discussion 申请。

  6. Hugging Face · 新模型:uncensored36

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布

    Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本,提供从 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M 以平衡体积与质量。该版本移除内置安全检查器与内容过滤,可直接生成 NSFW 内容,需配合 ComfyUI 与 ComfyUI-GGUF 使用,仓库内包含 qwen3vl_8b 文本编码器和 VAE 等配套文件。采用 Qwen Research License 授权。

  7. Reddit · r/LocalLLaMA53

    vLLM Semantic Router 团队发布 Apache-2.0 多模态决策模型 Decision 3.0,覆盖 0.6B 到 27B 并登顶 Jev Decision Index 两项榜单

    作者与 vLLM Semantic Router 团队发布开源多模态决策模型家族 Decision 3.0,基于 Qwen3.5 与 Qwen3.8-27B,权重采用 Apache-2.0 协议,支持文本、图像和视频输入。模型输出 choice、yes/no、score 三种决策类型并给出概率,不生成文本;官方评测显示 27B 以 64.7 text 和 71.6 vision 登顶 Jev Decision Index 两项榜单,9B 版本(d3-flash)超过上一代 27B Decision 2.0,视频为 zero-shot,27B 在 Perception Test 19,140 个验证题上得 77.4。

  8. Reddit · r/LocalLLaMA66

    Qwen3.8-27B 实现 bit-exact 投机解码:单卡 RTX PRO 6000 达 106 t/s

    /u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码,单张 RTX PRO 6000 达 106.6 t/s,24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复(PR #42145 及上游 PR #93),短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。

    推荐理由:作者给出让投机解码输出逐位可复现的具体补丁、启动命令和各长度下的速度对比,方便本地部署者照做。