跳到正文
10月23日周五
  1. Hugging Face · 新模型:abliterated63

    dima6312 发布 Flint-40B-A2.5B 去对齐 NVFP4 GGUF 版本

    dima6312 在 Hugging Face 发布了 RecursiveSI Flint 40B-A2.5B 的 abliterated 版本 NVFP4 GGUF,移除拒绝方向,面向安全研究与编码工作,需 llama.cpp b11827 及以上在 NVIDIA Blackwell GPU 上运行,权重文件 22.9 GB。对照测试显示 MITRE 拒绝率从 22% 降至 0%,Meta CyberSecEval 拒绝检查从 18/100 降至 1/100,GSM8K 与 HumanEval+ 无显著下降,pp512 与 tg128 速度差异在 3% 以内;模型基于 Apache 2.0 许可衍生自 RecursiveSI 权重,去对齐只降低拒绝、不增加知识。

    同一新闻,精选展示《dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版》

  2. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next-Uncensored Q4_K_XL-Gufo 量化版发布

    Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本,共 3 个分片约 103.5 GiB,升级 716 个张量 dtype 并修复 export bug,使 gufo 引擎可在 AMD Strix Halo(gfx1151)上加载,支持 262 144 原生上下文。无新微调,权重与原 Q4_K_S 相同;许可证按上游 Qwen Community License 1.0 分发,而非元数据标注的 apache-2.0。

  3. Reddit · r/LocalLLaMA45

    ReaDy:用循环状态作为动态上下文加速混合线性注意力大模型投机解码

    论文提出投机解码方法 ReaDy,首次利用混合线性注意力(HLA)模型的循环状态为每个草稿位置检索位置特定上下文。基于 DSpark 骨架与两阶段适配策略,在数学、代码生成与对话七项基准上,ReaDy 以 Qwen3.8-27B 在单块 NVIDIA B200 上实现平均 3.16× 解码加速,吞吐较 DSpark 提升 7.97%,接受长度提升 8.50%,代码已在 GitHub 和 HuggingFace 开源。

  4. Hugging Face · 新模型:uncensored40

    m672/gemma-4-31b-it-uncensored-fp8 发布:FP8 块量化版 gemma-4-31B 无审查模型

    m672 发布 gemma-4-31B-it-uncensored-heretic 的 FP8 块量化版本,模型体积约 31.5 GB,较 BF16 的约 62 GB 减半。与 RedHatAI/gemma-4-31B-it-FP8-block 对比,GSM8k-Platinum 97.68%、MMLU-CoT 89.97%、MMLU-Pro 84.52%,性能差距在 -0.14 至 -0.73 之间。量化采用 llmcompressor 的 FP8_BLOCK 方案,输出 compressed-tensors 格式,可原生用于 vLLM,聊天模板默认 enable_thinking 为 true。

  5. Hugging Face · 新模型:uncensored65

    dealignai 发布 GLM-5.3-Flash 无对齐 FP8 权重,HarmBench-320 拒绝率 0%

    dealignai 以 CRACK 方法在权重层面直接移除 GLM-5.3-Flash 的拒绝行为,发布 FP8 量化版(320B 总参数、每 token 激活 18B),HarmBench-320 全部 320 项 0 拒绝,MMLU 87.33% 高于基线 86.74%。该版本在 reasoning-off 和 max 档完全无对齐,low 档保留部分拒绝;H200 上原生 FP8 解码 163 tok/s,MTP 投机解码 211 tok/s。作者还给出 vLLM/SGLang 部署注意事项:reasoning_effort 只接受 low 和 high,max 档需 max_tokens ≥ 6000,视频 fps 须低于片段帧率否则引擎崩溃,并提醒重新下载 2026-08-28 修复后的文件。

    同一新闻,精选展示《GLM-5.3-Flash UNCENSORED FP8 发布,权重级去对齐且 MMLU 反超基座》

  6. Hugging Face · 新模型:abliterated66

    dima6312 发布 Flint-40B-A2.5B-abliterated 去拒绝版本

    dima6312 在 Hugging Face 发布 Flint-40B-A2.5B-abliterated,移除了 RecursiveSI Flint 40B-A2.5B 的拒绝方向,面向漏洞分析、恶意软件分诊、检测工程、CTF 和红队工具等安全工作。消融用 abliterix 从 attention 输出与 shared-expert、routed-expert 投影中移除拒绝方向,Optuna 经 50 轮试验选择强度。

    同一新闻,精选展示《dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版》

  7. Hugging Face · 新模型:uncensored59

    npario 发布 gemma-4-31B 的 UDmerge 去对齐 GGUF 量化版本

    npario 在 Hugging Face 发布 gemma-4-31B-it-qat-uncensored-heretic-UDmerge-GGUF,将 llmfan46 的 abliterated 张量合并到 Unsloth 无损 Q4_0 量化中,称可获得比朴素消融量化更好的准确率和拒绝率。提供两个变体,UDmerge-Q4_K_XL 将 attn_output.weight(blk.10 至 blk.35)量化为 Q4_0,UDmerge-Q4_K_XXL 量化为 Q8_0,后者拒绝率 20%,与 QAT BF16 持平,且基本不影响 TG 速度;实测 QAT Q4_0 拒绝率为 32%。

    推荐理由:作者用统一的 PPL、KLD、拒绝率和 MMLU 数据对比了合并版与朴素消融量化的差异,Q8_0 变体把拒绝率压回 20%。

  8. GitHub · 灵魂体仓库35

    raguram-3398 的 AI-engineer 仓库:如何通过一个个经过测试的项目构建可靠的 AI 软件

    GitHub 仓库 raguram-3398/AI-engineer 通过一系列自包含、带 README 的可测试项目,展示如何构建可靠的 AI 软件,包含两个已上线的 AI 产品。Sales Call Intelligence 每通电话约 $0.06,代码测试覆盖 95%,隐私测试移除 27/27 项个人信息;Multimodal RAG Engine 基于 52 份 FDA 文档(2,313 页)问答,92% 的答案声明可由引用页面支撑,20/20 道陷阱问题被拒答,每次回答约 $0.001。

  9. Hugging Face Blog70

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training:用数据库评分作 RL 奖励后训练 Agent

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training,在 GitHub 开源了将数据库终态可执行检查转化为 RL 奖励的后训练流程。用离线策略相对难度筛选出 187 个训练任务,对 Qwen3.8-27B 做 50 步 GRPO 后,ThinkingBox-Bench 507 个任务中每次都成功的任务从 38(7.50%)升至 107(21.10%),pass@1 从 51.70% 升至 60.78%,pass@20 略降 7 个任务;单个可靠任务成本从 $24.36 降至 $8.00。

    推荐理由:把数据库终态检查直接用作 RL 奖励的完整训练配方,任务筛选方法和成本变化都给了数据,可迁移到有状态 Agent 训练。

  10. Reddit · r/LocalLLaMA25

    Unsloth Dynamic IQ4_XS 版 Swift 1.5 Qwen 3.8 FN 去审查量化发布,附 Strata 支持

    Reddit r/LocalLLaMA 用户发布 Swift 1.5 Qwen 3.8 flash next 的 heretic 去审查版量化模型(mean KLD 0.06,median 0.02),按 per-tensor 量化为 Unsloth Dynamic IQ4_XS 格式,使用面向智能体场景(英文、工具调用、数学、代码、推理)的自定义 imatrix。该版本已 strata ready,附带包含 mtp head 和视觉组件等所需文件的 zip 包,质量高于 ISTA 版。

  11. Hugging Face · 新模型:abliterated29

    Huihui-Qwen3.6-35B-A3B-abliterated 的 Orinfer E8P Q4A8 量化版上线 Hugging Face

    基于 huihui-ai 的 abliterated Qwen3.6-35B-A3B 模型、面向 Jetson AGX Orin 64GB 的 Orinfer E8P Q4A8 量化版在 Hugging Face 发布,权重共 35,951,822,704 参数、约 4.209 bits/权重,上下文 262,144 tokens,需 Orinfer v0.2.1 运行。验证显示单次请求 65.83 tokens/s,10/11 自动评分任务通过,权重采用 Apache-2.0 许可。

  12. Hugging Face · 趋势模型65

    KRAFTON 发布 Raon-1 mini preview 开源模型,30B-A4B MoE 架构,Apache 2.0 开源

    KRAFTON 从零训练的 Raon-1 mini preview 发布,为 30B-A4B(28.8B 总参数、每 token 激活 4.3B)MoE 模型,采用 Raon Delta Attention 与 Raon-mHC 的混合注意力架构,原生支持 262,144 token 上下文,以 Apache 2.0 许可开源。主打韩语对话与 Agent 任务,支持 Hermes Agent、Pi 和 OpenCode 工具调用;官方基准显示其在 IFBench、Chatbot Korean 等项目领先对比 MoE 模型。

    推荐理由:模型卡给出了与其他 MoE 和稠密模型的基准对比、架构细节和完整本地部署方案,可据此评估其真实定位。

  13. Hugging Face · 新模型:uncensored20

    MishraNepali/Lily-Cybersecurity-7B-Uncensored-GGUF_Q5_K_M 量化版发布

    Hugging Face 用户 MishraNepali 发布 Lily-Cybersecurity-7B-Uncensored 的 GGUF Q5_K_M 重新量化版本,体积从 13.5GB 降至 4.07GB,可在 16GB 内存的 CPU 上运行,也可在 Google Colab 使用。该模型源自 segolilylabs/Lily-Cybersecurity-7B-v0.2(Apache 2.0 协议),中间版本由 NiroshanDH 量化并做 abliteration 处理,推荐上下文窗口 4096 tokens,量化版可能出现模型幻觉。

  14. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。

  15. GitHub · 灵魂体仓库64

    千问杯多模态大赛第3名方案开源:Qwen3.5-0.8B 蒸馏 SFT + GRPO 小剂量 RL 全流水线

    参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名(获2万元奖金)的完整方案:在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT(初赛 41.8 分压线晋级),再用 GRPO 30 步小剂量 RL(决赛榜 20.2 分,第 9/20),答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告,权重托管于 Hugging Face;核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。

    推荐理由:作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据,0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。

  16. Hugging Face · 新模型:abliterated22

    TristanUK 发布 onyx-qwen2.5-7b-abliterated-lora-GGUF 量化模型

    TristanUK 在 Hugging Face 发布 abliterated 版 Qwen2.5 7B 的 GGUF 量化模型(Q4_K_M),提供去审查变体供本地推理使用。该模型可通过 llama.cpp 直接运行,支持 llama serve 启动 OpenAI 兼容本地服务器或命令行推理,也提供 Ollama(ollama run)、Docker Model Runner、Lemonade 等拉取运行方式。此外可接入 Pi、Hermes Agent、OpenClaw 等本地 Agent 工具,作为默认模型使用。

  17. Hugging Face · 新模型:uncensored36

    Qwen3.8-Flash-Next-Uncensored Q5_K_S Splash 重打包版发布

    tegsvenson 发布 Qwen3.8-Flash-Next-Uncensored 的 Q5_K_S 重打包 GGUF,将 96 个 hyper-connection inject 张量改为 F32 存储,使其可被 Splash 1.4.0 加载,其余 1,128 个张量与 orcarouter 原版逐字节一致,体积仅增加 12.42 MiB。该版本移除安全对齐(abliterated),在 M4 Max 128 GB 的 MacBook Pro 上经 oMLX 0.7.2 测试,可加载完整 262,144 token 上下文,冒烟测试输出速度 98.4 tok/s。

10月22日周四
  1. Hugging Face · 新模型:abliterated25

    Koshkasa 发布 GLM 4.5 Air 的 50% REAP 剪枝版 GGUF(abliterated lossy)

    Hugging Face 上架了基于 huihui 解除限制版 GLM 4.5 Air 制作的 50% REAP 剪枝模型,由 concedo 上传,格式为 GGUF、BF16。相比此前失败尝试,校准数据集被泛化(仍保留 60%/40% 创意偏置),激活记录长度提升到 8192(此前 3072),并用稀疏观察器避免物化整个 [128, dim, tok] 块。模型目前未经测试,可能无法加载或输出乱码。

  2. Hugging Face · 新模型:abliterated26

    Huihui-GLM-4.5-Air-abliterated-lossy-REAP_50-safetensors 上架 Hugging Face

    Hugging Face 上架了基于 huihui 去限制版 GLM 4.5 Air 制作的 50% REAP 剪枝模型,由 concedo 上传。相比此前尝试,校准数据集被泛化(仍保留 60%/40% 创作偏向)并按源数据重新封装,激活记录长度从 3072 提升到 8192,并采用稀疏 observer 避免物化整个 [128, dim, tok] 块。该模型目前未经测试,可能无法加载、产生乱码或无法量化。

  3. Hugging Face · 新模型:abliterated22

    Koshkasa 发布 GLM 4.5 Air 的 37.5% REAP 剪枝版本(abliterated lossy)

    Hugging Face 上由 concedo 上传的 GLM 4.5 Air abliterated 版本(huihui 去限制版)的 37.5% REAP 剪枝模型。相比此前失败的尝试,校准数据集被泛化(保留 60% creative bias)并按源基准重新打包,激活记录长度从 3072 提高到 8192,并使用稀疏 observer 避免物化整个 [128, dim, tok] 块。模型目前未经测试,可能无法加载或输出乱码。

  4. Hugging Face · 新模型:uncensored58

    Qwen3.8-27B TURBO 微调版发布 GGUF 权重,ARC-C 达 735 并大幅削减思考 token

    DavidAU 团队发布基于 Qwen3.8-27B 的多阶段微调模型 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored,提供常规与 MTP 两种 NEO imatrix GGUF 量化。8bit 下 ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 591);思考 token 缩减至原版的 1/2 到 1/10。去审查用 Heretic v1.2.0+ 的 ARA 方法,Stage 1 拒绝率从 99/100 降到 0/100,KL 散度 0.0535。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  5. Hugging Face · 新模型:uncensored62

    Qwen-Image-2.1-Turbo-Uncensored GGUF 发布,文本编码器拒绝率从 88.9% 降至 1.2%

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF,将 Qwen-Image 的文本编码器 Qwen3-VL-8B-Instruct 的拒绝方向投影移除,供 stable-diffusion.cpp 以 --llm 参数本地运行。作为聊天模型,英文拒绝率从 88.9% 降至 1.2%,俄语从 38% 降至 0%,MMLU 保持 77.35% 不变;图像侧在 45 条敏感提示上无一翻转,因原管线本就无内容过滤。提供 BF16 到 Q2_K 共 7 档量化,AD-Q4_K 为 4 bit 推荐,附完整制作方法与局限说明。

    同一新闻,精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%》

  6. GitHub · 灵魂体仓库31

    tech-news-rag-assistant:基于 RAG 的科技新闻问答助手

    GitHub 开源项目 tech-news-rag-assistant 是一个回答近期科技新闻问题的 RAG 助手,每个答案均基于真实文章并标注引用来源。系统采用 dense(BGE-large 嵌入)+ BM25 混合检索,经 RRF 融合和 cross-encoder 重排,由 Cerebras 上的 gpt-oss-120b 生成答案,并设防幻觉检索分数门槛。在 15 题的 golden set 评测中,Recall@5 达 1.000、MRR 0.967,忠实度与相关性均为 5.00(1–5 分)。

  7. Reddit · r/LocalLLaMA49

    Carbon-X:最佳开源 DNA 语言模型,可在本地用 llama.cpp 运行

    团队发布开源 DNA 语言模型 Carbon-X,基于 Qwen3 14B 在 DNA 与自然语言混合语料上 midtraining 训练,在五个 DNA benchmark 上超过所测全部开源模型,并媲美 GPT-6.1 Sol,成本约低 1,000x。模型已提供 GGUF 版本,可经 llama.cpp 本地运行,支持用自然语言分析 DNA 序列、预测突变影响和生成新 DNA。

  8. Hugging Face · 新模型:uncensored57

    Qwen3.6-27B-Fable-Fusion-711 无对齐微调版发布,8bit 与 4bit 下 ARC-C 均超 0.7

    DavidAU 团队基于 Qwen/Qwen3.6-27B 发布多阶段微调与合并的无对齐版本 Qwen3.6-27B-Fable-Fusion-711,用 Heretic v1.2.0 的 Arbitrary-Rank Ablation 方法去审查,拒绝率从原版的 99/100 降到 4/100,KL 散度 0.0469。

    同一新闻,精选展示《tatekuperus 发布 Qwen3.6-27B-Fable-Fusion-711 无对齐 GGUF 量化版》

  9. Hugging Face Blog45

    IBM Granite 时间序列模型集成预测

    Hugging Face 发布 Granite Timeseries Ensemble,将四个不同架构的预训练 Granite 时间序列模型(PatchTST-FM-r1、PatchTST-FM-r2、FlowState-r1.1、TTM-r3)组合成一个无需重训练、无需拟合权重的集成预测接口。默认 Probabilistic Ensemble 采用等概率池化,另提供按预测离散度自适应加权的 IQR Ensemble。两个配方在 97 个 GIFT-Eval 数据集配置上评估,配置经宽松许可开源,可通过 granite-tsfm>=0.3.11 从 Hugging Face 加载。

  10. Hugging Face · 新模型:uncensored32

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-EXL3-3.5bpw-uncensored 量化版

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 去审查(uncensored)量化版。附带的性能测试显示,EXL3 3.5 配置在并发 1 时生成速度约 129.3 tokens/s、并发 32 时约 480.8 tokens/s,并发 1 的 time_to_content_p50 约 0.39 秒;同测试中 Native MXFP4 在并发 32 达 831.7 tokens/s,NVFP4 target 达 796.1 tokens/s。

  11. Hugging Face · 新模型:uncensored68

    dealignai 发布 GLM-5.3 无对齐 FP8 权重版本 GLM-5.3-UNCENSORED-FP8

    dealignai 在 Hugging Face 发布 GLM-5.3-UNCENSORED-FP8,对 GLM-5.3-FP8 做全谱通用权重级去对齐,仅修改 bf16 residual writer 张量,不涉及微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HB-320 非版权行为 TRUE_COMPLY 达 91.7%(off),GARBAGE 降为 0;MMLU 87.43% 较基线 +1.85pp。

  12. Hugging Face · 新模型:abliterated51

    gemma-3-4b-it-abliterated-v2 无对齐版本在 Hugging Face 发布

    Justanotherdayhereintheworld 发布 google/gemma-3-4b-it 的 abliterated 无审查版本 v2,采用新的消融技术,声称对拒绝行为的处理精度提升。通过对比有害与无害样本的残差流计算拒绝方向并对 o_proj 等模块的隐状态做正交化减除,并附 QAT 量化与 GGUF 版本链接。作者给出建议生成参数 temperature=1.0、top_k=64、top_p=0.95,用词典方法结合 NousResearch/Minos-v1 的混合评测计算接受率,目标是接受率超过 90% 且保持输出连贯。