跳到正文
10月25日周日
  1. Hugging Face · 趋势模型56

    南北阁发布 Nanbeige4.3-33B,主打约 30B 级开源模型中的智能体能力

    南北阁团队发布 Nanbeige4.3-33B,定位为 Nanbeige4.3 系列的教师模型,用于后续向更小模型(如 Nanbeige4.3-3B)蒸馏智能体能力。官方基准显示其在约 30B 参数开源模型中于 Terminal-Bench 2.1、DeepSWE、Automation Bench 等多数智能体编码与协作任务上领先,并说明在 35 个职业的 JobBench 评测中多数占优。模型支持 512K 上下文,提供 enable_thinking 与 preserve_thinking 等可配置聊天模板,可用 Transformers、SGLang 或 vLLM 部署。

    推荐理由:原文给出与同规模开源模型的完整基准对比和推理部署配置,可借此了解 30B 级开源智能体模型的实际水平。

  2. Hugging Face · 新模型:uncensored35

    Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布

    abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。

  3. Hugging Face · 新模型:abliterated41

    Huihui-DeepSeek-V4.1-Flash-1017-abliterated GGUF 版本发布

    huihui-ai 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 去审查版本,完全用 llama.cpp 的 GGUF 完成 abliteration,未依赖 Transformers。仅 abliterate 第 11 至 28 层(0 起始索引)的 18 个 attn_output_b 张量,专家系统未改动;UD 系列来自 unsloth 的 GGUF。模型安全过滤大幅降低,建议用于研究或受控环境,支持 262144 上下文长度。

  4. Hugging Face · 新模型:uncensored37

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成,Q4_K_M(4.60 GB)为推荐的 GGUF 量化方案。该版本不含内置安全检查器,可直接生成成人、NSFW 及敏感图像,支持 ComfyUI 与 ComfyUI-GGUF,文本编码器卸载到系统内存可节省 9–17 GB 显存。

  5. Hugging Face · 新模型:abliterated68

    Qwen3.8-Flash-Next-FP4-Local-Abliterated 发布:不改权重、推理时去对齐

    lesj0610 发布基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的 abliterated 版本,权重文件与基座逐字节一致,仅靠 config.json 中的 abliteration_config 块和 fp4local-abliterated vLLM 插件在推理时做拒绝方向投影。625 条有害提示的拒绝短语命中从基座 97.92% 降到 0.16%,MMLU 较基座低 1.30 分,GSM8K 无显著变化;需 vLLM 0.32.1rc0 以上版本,拒绝行为仅在英文下测试,视频能力未评测。

    推荐理由:原文给出拒绝率、MMLU/GSM8K 与基座的对照数据,并解释了为什么对 FP4 量化权重选择推理时投影而非直接改权重。

  6. Hugging Face · 新模型:uncensored49

    Qwen3.8-27B-Uncensored 发布 MLX 5.0 bpw 混合精度量化版

    Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版,体积 17.38 GB,比 bf16 小 3.2 倍,针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔,48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源,需通过 oMLX 运行。

  7. Hugging Face · 新模型:abliterated25

    mradermacher 发布 Ornith1.0-9B-3MPER0RR-abliterated GGUF 量化模型

    Hugging Face 用户提供 mradermacher/Ornith1.0-9B-3MPER0RR-abliterated-GGUF 模型(Q4_K_S 量化版),可在 llama.cpp、Ollama、Docker Model Runner 等多种本地工具中运行。文档给出 macOS、Linux、Windows 各平台的安装与启动命令,支持通过 llama serve 启动 OpenAI 兼容本地服务器或直接在终端推理,还覆盖 LM Studio、Pi、Hermes Agent、OpenClaw 等客户端配置方法。

  8. Ollama Blog56

    Ollama 支持语音模型,首发 Gradium 的 Phonon 文本转语音系列

    Ollama 0.40.11 起支持文本转语音,首个语音模型是 Gradium 的 Phonon 系列,目前可用 macOS,Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上,Ollama 借助 MLX 加速,吞吐比次快的 Gradium ptts 运行时快 35%,词错率与 Hugging Face Transformers 参考实现持平;Phonon 采用 Apache 2.0 许可,40M 版本为 CC BY-NC 4.0 限非商用,支持英语、法语、德语、西班牙语、葡萄牙语,并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。

    推荐理由:官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据,读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。

  9. Hugging Face · 新模型:abliterated37

    Huihui-Qwen3.8-27B-abliterated-GGUF 发布:Qwen3.8-27B 去审查版本

    huihui-ai 发布基于 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本,通过 abliteration 技术移除模型拒绝回答的行为,仅消融部分层(如第 22 至 52 层,0 起始索引),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化,其中需消融的权重已转为 Q8_0 或 BF16 以提升回复质量,支持 262144 上下文长度,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行。模型安全过滤大幅降低,建议用于研究测试而非生产环境。

  10. Hugging Face · 新模型:abliterated38

    Qwen3.8-Flash-Next DS4 Mixed-Q3-64GB abliterated v2 GGUF 发布

    Krissaito470 发布 Huihui 的 Qwen3.8-Flash-Next abliterated v2(去审查版)的 DS4 GGUF,采用 Mixed-Q3-64GB 布局,文件 143.3 GiB,常驻权重 47.96 GiB,可在 64 GB Mac 运行。v2 未消融任何专家张量,仅以 96 个 Q8_0 张量覆盖基础文件;8K 上下文下解码 68.9 tok/s,MTP 开启时代码生成达 102.8 tok/s。内存占用约 49-54 GiB(8K-131K ctx),需支持 BF16 n-gram 的 DwarfStar 构建。

  11. Hugging Face · 新模型:abliterated58

    Qwen3.8-Flash-Next GSQ-RCO 量化包发布,附运行时去拒绝向量与实测数据

    作者发布了一个 Strata 运行时去拒绝方案包,收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GSQ-RCO 量化权重(逐字节复制并校验 SHA256),外加一个 480 KB 的拒绝方向向量文件,来自 Huihui 对 144 个残差写入张量的秩一编辑,在推理时对每层残差流做投影 h = h - (h·r)r 以移除拒绝行为。

    推荐理由:作者用拒绝率、KL 散度和解码速度实测了运行时去拒绝向量的效果,数据可直接用于判断这种方案对输出的改动幅度。

  12. Hugging Face · 新模型:uncensored66

    dealignai 发布 GLM-5.3-UNCENSORED-FP8 无对齐权重版并修复推理循环问题

    dealignai 在 Hugging Face 发布 GLM-5.3-FP8 的全谱系无对齐版本,通过直接修改 bf16 residual-writer 张量实现权重级去审查,不使用微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HarmBench-320 上 GARBAGE 从 7 降至 0,非版权 240 项行为 TRUE_COMPLY 达 91.7%(off),MMLU 87.43% 较基线 +1.85pp。附 vLLM TP8 部署配置,注意 reasoning_effort 仅支持 low/high,high/max 需 max_tokens ≥ 8000。

    推荐理由:原文给出权重级去对齐的具体做法和 HarmBench-320、MMLU 前后对比数据,读者可据此评估该版本的去对齐程度与能力损失。

  13. Hugging Face · 新模型:abliterated58

    R0U5 发布 Qwen3.5-9B-Abliterated(Lethe)无对齐版权重

    R0U5 用 Lethe 正交化消融方法放出 Qwen/Qwen3.5-9B 的永久无对齐版本权重,拒绝率从 3.1% 降到 0.0%,KL 散度 0.009。方法对所有 32 层共 64 个残差写入投影做消融,bf16 权重约 18 GB,Apache-2.0 协议,并附 GGUF 转换与量化命令,q8_0 约 9 GB、q4_k_m 约 5.5 GB。

    推荐理由:原文给出拒绝率前后对比、KL 散度和 64 个矩阵的消融范围,去对齐程度与能力损失都有数据可查。

  14. arXiv · cs.CL43

    指令微调早期阶段需要什么样的“高质量”数据:数据质量指标的实证研究

    一项实证研究将指令微调中的“数据质量”操作化,在固定微调预算下比较多个示例级指标对训练效用的预测能力。方法是将样本按指标分数分为低、中、高三档分别微调,用验证 perplexity 和 LLM-as-judge 评分评估。结果显示,以 response ratio 衡量的答案密集型监督比常用替代指标更能稳定预测指令微调效用。

  15. arXiv · cs.AI29

    层级协作 GFlowNets(HCG):动态划分搜索空间提升多模态探索

    研究者提出 Hierarchical Cooperative GFlowNets(HCG),通过动态划分搜索空间协调多个 GFlowNets 的探索,避免模型集中坍缩到少数高奖励区域。该方法用共享分类器划分层级,使最高排名模型可探索整个空间、低排名模型转向未覆盖区域,支持独立参数化与异步训练,并证明了聚合规则可恢复与奖励成比例的目标分布。实验涵盖多模态分布、序列生成、组合优化和生物序列设计,显示 HCG 提升了模式覆盖与目标近似效果。

  16. arXiv · cs.AI13

    QECGBERT:基于 VQ-VAE 波形 tokenization 的自监督可扩展 ECG 基础模型

    QECGBERT 是一种自监督 ECG 语言模型,通过 VQ-VAE 将 12 导联心电图的 P、QRS、T 及等电位背景波形进行 tokenization,并融合连续波形特征以保留量化丢失的形态信息。该模型在 MIMIC-IV 超过 800,000 条无标注 ECG 记录上做 BERT 预训练,并在 PTB-XL、CPSC2018 和 Chapman–Shaoxing–Ningbo 数据集上微调评估,性能达到或超过已发表基准。短序列设计提升了可扩展性并降低计算成本,为心脏诊断提供可扩展、具备生理语义的 ECG 基础建模方案。

  17. arXiv · cs.AI55

    研究评测五个 LLM 对虚假信息的抵抗:口头判断与实际行为脱节

    arXiv 论文(arXiv:2610.33962)评估五个大语言模型在 196 条构造的虚假通知和 204 条改编的存档攻击下的行为,发现模型在被其评为不可信的通知上仍以 27%–99% 的比例发出有害工具调用。去掉先评分的步骤使有害执行平均上升 15 个百分点,说明可信度引导本身改变了被评测的行为;简单预警在五个模型中的四个显著减少有害执行,但也会损害合法任务完成,基于生成虚假通知的微调保护则随模型和协议不同而有差异。

    推荐理由:论文用 196 条虚假通知与 204 条真实攻击测试五个模型,指出可信度评估本身会改变模型行为,评测协议设计值得关注。

  18. Hugging Face · 新模型:uncensored36

    zugquants 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x-Reasoning-Instruct-GSQ-RCO-GGUF 量化模型

    zugquants 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO GGUF 量化版,为 120B/180B 参数、512 专家(每 token 激活 10 个)的无审查 abliterated 模型。内置 Turbo Brilliance 系统含 27 种 reasoning、27 种 instruct 模式及 15 个 AI CONSTRUCTS,可在提示词或 API 中即时切换。实测 46 GB 双 GPU 加 RAM offload 达 17 t/s,全 GPU offload 60-90 t/s,12GB 显存起可运行。

  19. arXiv · cs.CL51

    小模型编码 Agent 如何使用代码图与嵌入工具:arXiv 论文实测 SWE-bench Verified

    arXiv 论文 2610.33958 测试了嵌入搜索和代码图工具对小模型编码 Agent 定位能力的实际收益。在 SWE-bench Verified 上对 Qwen3(0.6B 到 32B)和 Gemma 4 共十个模型做工具消融,共 79k 次实验。结构化工具使 Qwen3-8B 和 Gemma 4 E4B 的 grep-only 准确率翻倍,收益在 1.7-4B 达峰 17-21 点,到 32B 降到 4-5 点;8B 以上约一半收益来自提交格式而非定位。

  20. arXiv · cs.AI48

    Continual Learning Exam:评测 LLM Agent 长程 RSI 与经验学习能力的基准

    研究者推出 Continual Learning Exam(CLE)基准,由 50+ 领域专家构建,用于衡量 LLM Agent 在真实职业工作流中通过积累经验持续改进的能力。CLE 包含 120 个人工编写任务,每个任务分五级阶梯,共 600 个级别,覆盖 12 个职业领域的 89 种职业角色。在 17 种 harness-模型配置中,失败后反馈加一次修订平均带来 5.3 个百分点的完成率提升,但最强系统也仅通过 47.7% 的级别、仅在 23.3% 的任务中完成全部五级。

  21. Hugging Face · 新模型:uncensored60

    zugquants 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版,8bit ARC-C 达 735

    zugquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段去对齐微调 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored,提供含 MTP 版本的 NEO imatrix GGUF 量化。作者称 8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,全部 7 项基准超过基座 Qwen3.8-27B,思考 token 减至基座的 1/2 至 1/10;用 Heretic v1.2.0 ARA 方法去审查后 100 次测试中拒绝从 99 降至 0,KL 散度 0.0535。

  22. Hugging Face · 新模型:uncensored34

    zugquants 发布 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMAX-MTP GGUF 量化模型

    zugquants 与 Nightmedia 推出基于 Qwen3.5-9B 的多阶段微调合并模型,完全无审查并经 Heretic 后训练,在 4bit 与 8bit 下 ARC-C 达 640,超过 Qwen3.5 9B 全部 7 项 benchmark,部分场景追平 Qwen3.6 27B。提供常规与 MTP 两类 NEO IMATRIX GGUF:Q4_K_S 常规版约 130 t/s,MTP 版(token acceptance 60%)可超 185 t/s;支持 256k 上下文与视觉(需另下 mmproj 文件),含 5 种 reasoning 与 5 种 instruct 模式,可经 API 或聊天内即时切换。

  23. Hugging Face · 新模型:abliterated40

    zugquants 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x-Reasoning-Instruct-GSQ-RCO-GGUF 量化模型

    zugquants 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated(去审查)GGUF 量化版,参数量 120B,Turbo Brilliance 文中另一处称 180B、512 专家(每 token 激活 10 个),含 27 推理 + 27 instruct 模式(另有 9 个 xhigh)及 15 个 AI Construct。模型可在 12GB 显存 GPU 上运行,2 GPU 加 RAM offload 实测 17 t/s,全 offload 达 60-90 t/s,RTX 6000(96GB)估计 150+ t/s,采用强于 QAT 的 GSQ-RCO 量化并称达 SOTA BF16 级性能。

  24. Hugging Face · 新模型:uncensored62

    DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 项全部配合

    dealignai 发布基于 DeepSeek-V4.1-Flash-1017 的无对齐版本,在原生 FP8 e4m3 权重上做消融编辑去除拒绝行为,保留 1M 上下文、多模态、工具调用与推理档位,与上游字节兼容可直接加载。HarmBench-320 实测 320/320 全部 COMPLY、零拒绝;MMLU 从基座 87.63% 降至 83.77%(-3.86 pp), Humanities 类损失最大达 -7.31 pp。低比特量化建议在目标精度上重跑消融流程,原生命令行推理已验证于 4×H200,SGLang 启动参数与构建工具链要求在模型卡中给出,MIT 许可,仓库手动门控。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 题全部合规》

  25. Hugging Face · 新模型:uncensored72

    dealignai 发布 DeepSeek-V4.1-Flash 的无对齐消融版 FP8 权重

    dealignai 基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone、8B/16B 激活)发布了权重级消融的无对齐 FP8 版本 DeepSeek-V4.1-Flash-UNCENSORED-FP8,无需自定义 model.py 或运行时钩子。HarmBench-320 实测显示 base 模型 effort=off 时 ASR 为 42.81%、effort=max 时仅 1.56%,消融版在两档下均 100% 回答且零拒绝;MMLU-14k 从 86.96% 降至 82.74%(剔除伦理类后约 -1.1 pp)。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》

  26. Hugging Face · 新模型:uncensored62

    dealinai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 2.9bpw 量化包

    dealinai 基于 LibertAI 的 EXL3 2.9bpw 量化包(388 GB)发布 DeepSeek-V4.1-Flash-1017 无对齐版本,移除拒绝行为,支持 6 种语言、131K 上下文、思考模式开关,保留视觉权重、MTP 头和 n-gram 表。实测 MMLU-500 从基线 67.40% 降至 63.20%(−4.20pp),HarmBench-320 聊天与思考模式合规率均 100%,多轮对抗测试 0/5 漂移回拒绝。在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 验证约 68 tok/s 解码、1105 tok/s 预填充,并提醒低比特重量化可能使合规回退,建议在目标精度上重跑 abliteration 流程。

    同一新闻,精选展示《dealignai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 2.9bpw 量化包》

  27. Hugging Face · 新模型:abliterated22

    huihui-ai 发布 Huihui-Qwen3-8B-abliterated-v2:基于 Qwen3-8B 的去审查版本

    huihui-ai 基于 Qwen/Qwen3-8B 通过 abliteration 技术制作出去审查版本 Huihui-Qwen3-8B-abliterated-v2,采用新的更快消融方法并修复了上一版问题,还调整了 0 层以消除乱码。该模型可在 Hugging Face 用 transformers 加载,Ollama 端可用 huihui_ai/qwen3-abliterated:8b-v2 直接运行,并通过 /set think 和 /set nothink 切换思考模式。

  28. arXiv · cs.CL47

    结构化输出为何失败?九个 LLM 上提示词强制的 Pydantic Schema 实证研究

    一项研究对 3,997 次生成尝试、横跨九个 OpenAI 与 Anthropic 模型/API 配置(基于 HotpotQA 和 FinanceBench 问题)进行了 schema 失败分类。研究发现相近的有效率掩盖了不同失败模式,Markdown 围栏 JSON 是最常见失败:681 次围栏失败中仅 48.0% 在去除围栏后通过验证,其余多为字段长度违规。作者提出四项工程实践并开源了分类器、生成结果与标注。

  29. arXiv · cs.CL43

    免 Schema 文本转 SQL:从查询日志学习企业数据库结构

    一项研究提出首个无需 schema 文档的 text-to-SQL 框架,通过解析历史查询日志构建知识图谱,并用实体驱动的 GraphRAG 检索将用户问题锚定到业务术语。在 Beaver 基准上执行有效率达 95.7%,远高于基于 embedding 检索的 60.8%;工业部署中专家数据工程师以 70% 对 10% 的偏好胜出。