跳到正文
10月9日周五
  1. Hugging Face · 新模型:uncensored40

    Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 版本发布,0/465 拒答

    HauhauCS 基于 Qwen3.6-35B-A3B 发布无审查 Aggressive 版本,测得 0/465 拒答,数据集与能力无改动。模型为 MoE 架构,总参数 35B、每 token 激活约 3B,原生支持 262K 上下文和文本、图像、视频多模态,并提供 Q8_K_P 到 IQ2_M 多档 GGUF 量化(含 K_P 自定义量化),兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  2. Hugging Face · 新模型:uncensored24

    mradermacher/Gemma-3-Uncensored_v2-merged-GGUF 模型在 Hugging Face 上发布

    mradermacher 在 Hugging Face 上发布 Gemma-3-Uncensored_v2-merged-GGUF 模型,提供 Q4_K_M 量化版本。用户可通过 llama.cpp 在 macOS、Linux、Windows 上以 `llama serve -hf` 启动本地 OpenAI 兼容服务器(含 Web UI),或用 `llama cli` 在终端直接推理。该模型也支持预编译二进制、源码编译和 Docker 运行。

  3. Hugging Face · 新模型:uncensored77

    jakeatx 发布 Swift 1.5 Qwen3.8-27B 无审查版 2.3bpw GGUF 量化,面向 12 GB 显卡

    jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版,基于 UkisAI 的 Swift 1.5(构建于 Qwen3.8-27B)的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight,含 MTP 草稿层,面向 12 GB 显卡约 200K 上下文。

    推荐理由:发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比,读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。

  4. Hugging Face · 新模型:abliterated68

    Dankpaws 发布 Swift 1.5 Qwen3.8-27B Abliterated 的 EXL3 4.25bpw 量化版

    Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式,面向双 RTX 5060 Ti 16 GB 硬件,支持三路并发、每路 115,200 tokens 上下文,包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据,并明确说明未做额外微调或新的 abliteration,也未与 BF16 做成对评测;许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。

    推荐理由:原文给出了完整的量化参数、实测吞吐和内存数据,读者可以按自己的双卡配置复现这套 EXL3 本地部署。

  5. Hugging Face · 新模型:uncensored20

    Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本在 Hugging Face 上线

    onnx-community 发布 WithinUsAI/Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本,可通过 Transformers.js 的 text-generation 管线使用。该模型基于 google/gemma-3-270m-it,用 mergekit 以 SLERP 方法合并 4 个模型而成,是无审查的提示词扩展模型。其安全过滤被大幅削弱,可能生成敏感内容,官方建议仅用于研究或受控环境,不适合生产环境使用。

  6. Hugging Face · 新模型:abliterated66

    davetha 发布 Huihui-Qwen3.8-27B-abliterated 的 AutoRound INT4 量化版,可单卡 Intel Arc Pro B70 运行

    davetha 在 Hugging Face 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated(基于 Qwen/Qwen3.8-27B 的去拒绝版本)的 4-bit AutoRound 量化构建,采用 INT4 主体加 baked lm_head/MTP 和 INT8 embedding,面向单张 Intel Arc Pro B70(32 GB)在 vLLM XPU 下运行。

    推荐理由:作者给出了量化方法、perplexity 对比和 B70 上的实测速度数据,读者可以评估这个 4-bit 去对齐版本的质量与可用性。

  7. Hugging Face · 新模型:abliterated33

    Qwen3.8-27B-OrcaRouter-Abliterated 的 IQ5_KS GGUF 量化版发布

    Hugging Face 上发布了 OrcaRouter 的 abliterated Qwen3.8-27B 模型的 MTP-capable IQ5_KS GGUF 量化版,适用于 ik_llama.cpp。该版本使用 Ubergarm 的张量配方与 importance matrix 制作,保留内嵌 MTP head(权重为 Q8_0,norm 为 F32),文件大小 18.964 GiB。由于源模型经过 abliterated 处理,其拒绝行为与原版 Qwen 模型不同,需自行添加安全防护。

  8. Hugging Face · 新模型:abliterated47

    Huihui-Qwen3.8-27B-abliterated GGUF 版本发布

    huihui-ai 基于 Qwen/Qwen3.8-27B 发布经 abliteration 处理的去审查 GGUF 版本 Huihui-Qwen3.8-27B-abliterated-GGUF,MTP 与视觉部分未修改。多个系列(UD、GSQ-RCO、UD-DW、Ternary、Swift)仅对第 22-52 层(0 起始索引)做 abliteration,其余层保留原样;Q2_K_L-Q6_K_L 等版本将需 abliteration 的权重转为 Q8_0 以提升回复质量。该模型安全过滤大幅降低,仅建议用于研究与测试,可在最新版 ollama 和 llama.cpp 中运行。

  9. Hugging Face · 新模型:abliterated34

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF 去审查模型

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 发布去审查版 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF,用 abliteration 技术移除模型拒绝行为。新增 Unsloth 与 Swift 系列 GGUF,支持最新版 Strata 和 llama.cpp,Strata 提供 SHA256 校验,llama.cpp 可运行 UD-Q4_K_XL 量化版本并设置 -c 262144 上下文。模型安全过滤被大幅削弱,建议仅用于研究和受控环境,使用者需自行承担法律与伦理责任。

  10. Hugging Face · 趋势模型63

    NVIDIA 发布 Qwen3.8-Flash-Next-FP4-Local 量化版,支持单卡本地部署

    NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local,是用 Model Optimizer 量化感知蒸馏(QAD 1.0,nvidia-modelopt v0.47.0)制作的 Qwen3.8-Flash-Next FP4 量化版,checkpoint 约 96 GiB。模型总参数 125B、激活 6B,另有 51B n-gram embedding 和 4B MTP,原生上下文 262K 可扩展至 1M tokens;精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%,ToolEvalBench 从 89.4% 降至 88.7%。

    推荐理由:官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案,量化细节可参考。

10月8日周四
  1. Hugging Face · 新模型:uncensored43

    Qwen-Image-2.1 Uncensored GGUF 量化版发布:支持 ComfyUI 本地图像生成

    用户 Kikik3636 基于 Qwen/Qwen-Image-2.1 上游原始权重发布 GGUF 量化版本,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多档量化文件,体积从 4.15 GB 到 14.23 GB 不等,其中 Q4_K_M 被推荐为体积与质量的最佳平衡。该版本内置 ComfyUI 配套的 text encoder(qwen3vl_8b)与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 节点运行。此版本无内置安全检查器或内容过滤,可直接生成 NSFW 内容,采用 Qwen Research License 授权。

  2. Hugging Face · 新模型:uncensored51

    Qwen3.8-27B TURBO 微调版发布:Heretic 去审查并压缩思考 token

    作者发布基于 Qwen3.8-27B 的多阶段微调 GGUF 模型,称 8bit ARC-C 达 0.735、ARC-E 达 0.882,并宣称将思考 token 压缩至原版的 1/2 到 1/10。去审查采用 Heretic v1.2.0+ 的 Arbitrary-Rank Ablation 方法,阶段1拒绝率从 99/100 降至 0/100(KL 0.0535),阶段2后为 11/100(KL 0.0025);提供常规与 MTP 两类量化,4bit Q4_K_S 下约 75 t/s,MTP 可超 90 t/s(5090 实测)。

  3. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next 的 MLX 量化包发布,4-bit 混合精度约 63 GB 可在 128 GB Mac 上运行

    作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包(4-bit experts、8-bit 其余),该模型为 Qwen4 preview 架构(model_type: qwen4_exp),全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP,共 180B(bf16 360 GB)。实测在 M4 Max 128 GB 上常驻约 67-69 GB,decode 29-34 tok/s,25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化,不占常驻显存;MTP 头可加载但当前比串行 decode 慢,默认关闭。

    推荐理由:作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据,读者可以据此评估这个 180B 模型能否在自己机器上跑。

  4. Hugging Face · 新模型:abliterated66

    Ostrich-27B-261008-Qwen3.8-Abliterated 发布,基于 Qwen 3.8 27B 去除拒绝行为

    etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated,基于 Qwen 3.8 27B 做 abliterated 处理移除拒绝行为。自评显示总体对齐分从原版 Qwen 3.8 的 37%(几何平均)提升到 82%,消融测试拒绝率很低。相比 260903 版本新增 Agentic RAG 训练、-100..100 真值打分适配器、9 项自动化拟人测试(总分 0.928),并开始提供 EXL3 量化(3.0 至 6.0 bpw)与 GGUF 下载,可在约 18 GB 显存的消费级 GPU 上 4-bit 运行。

    同一新闻,精选展示《etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated EXL3 量化版》

  5. Hugging Face · 新模型:abliterated69

    etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated EXL3 量化版

    etemiz 在 Hugging Face 发布基于 Qwen 3.8 27B 的 Ostrich-261008 abliterated 版本,提供 3.0 至 6.0 bpw 四档 EXL3 量化(13 到 22 GB),可通过 ExLlamaV3 / TabbyAPI 在消费级 GPU 本地运行。该版本经 abliteration 移除拒绝行为,官方数据显示整体对齐率从基座的 37% 升至 82%,并新增了 Agentic RAG 训练、真值打分适配器和 0.928 分的自动化 9 项人格化测试;训练采用进化搜索管线,累计 841 代、9500 条谱系,蒸馏领域覆盖健康、宗教、比特币等。

    推荐理由:原文给出了按领域的对齐率对比和拒绝率数据,读者可以据此判断这个 abliterated 版本的实际去对齐程度和量化选择。

  6. Hugging Face · 新模型:abliterated65

    KENIC-1 发布 Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF 量化

    KENIC-1 在 Hugging Face 发布 Qwen3.8-Flash-Next GSQ-RCO 的 abliterated GGUF 版本,采用字节级张量移植,将全部 48 层中的 144 个 write-to-residual-stream 投影张量替换为 orcarouter 消融权重,不重算任何 GSQ 学到的量化值。四个量化档位(IQ3_S / IQ3_XXS / IQ2_XS / Q2_0)保持上游逐张量类型分配不变,体积仅比上游多 0.25–0.44 GB;1223 个张量经逐张量 blake2b 核验,144 个目标全部改变、1079 个非目标逐字节一致,行为抽查显示上游拒答的提示词此版可详尽回答。

    推荐理由:原文给出了逐张量的移植方法与blake2b核验数据,读者可以确切看到哪些张量被改、代价多大。

  7. Hugging Face · 新模型:uncensored37

    Qwen3.6-35B-A3B Uncensored Genesis Hermes GGUF 版本发布

    burningfeet 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 的 Genesis Hermes GGUF 模型,基础模型 refusal 记录为 0/465。该模型总参数 35B,每次前向激活约 3B(MoE,256 专家、8 路由 + 1 共享),采用 Gated DeltaNet 线性注意力与全 softmax 混合架构(3:1),40 层,原生 262K 上下文(YaRN 可扩展至 1M),本地多模态。作者使用 Genesis 后训练算法通过 Marchenko–Pastur 定律修复 tensor 中的训练噪声,不涉及训练或微调。

  8. Hugging Face · 新模型:uncensored45

    Gemma 4 E2B Uncensored LiteRT-LM 版发布:2.37 GB 端侧离线运行模型

    社区版 Gemma 4 E2B Uncensored-MAX 已转换为 .litertlm 格式,可在 Android、Pixel 及 Tensor / Mali 设备上完全离线运行。模型为 INT4 量化,有效参数 2.3B(含 PLE 总参数 5.1B),支持 32,768 token 上下文,仅保留文本能力,体积 2.37 GB。可通过 Google AI Edge Gallery 或 LiteRT-LM CLI 加载,采用 Apache 2.0 许可证。

  9. Hugging Face · 新模型:abliterated28

    abliterated 模型 k8scert/Qwen3.8-27B-ABLITERATED-Q8_0 上架 Hugging Face

    用户 k8scert 在 Hugging Face 发布 abliterated 版模型 Qwen3.8-27B-ABLITERATED-Q8_0,采用 Q8_0 量化。页面给出通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行该模型的命令,并附 Pi、Hermes Agent、OpenClaw 等接入本地 llama.cpp 服务器的配置示例。

  10. Hugging Face · 新模型:abliterated67

    ScottzillaSystems 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated GGUF 消融版

    ScottzillaSystems 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF,通过对已量化 GGUF 做字节级张量直移,替换全部 48 层中 144 个写入残差流投影张量以移除拒答方向,不重算任何 GSQ 学到的量化值。IQ3_S 构建经逐张量 blake2b 校验,144 个目标全部替换、其余 1079 个张量字节一致;相比上游文件仅增大 0.25-0.44 GB,Strata 引擎实测 decode 104.4 tok/s 与上游持平。行为抽查显示上游拒答的付费墙绕过提问该版本会详细回答,作者同时提醒该模型无内置安全护栏,部署需自备审核与访问控制。

  11. Hugging Face · 新模型:uncensored27

    Qwen3.6-35B-A3B-Uncensored-Genesis-Final GGUF 发布

    burningfeet 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 GGUF 版本,基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive,拒答数为 0/465。该模型经 Genesis 张量修复处理,基于 Marchenko–Pastur 分布做自定义 SVD 降噪,不改变已学知识。模型总参数 35B,每次前向激活约 3B(MoE,256 专家、每 token 8 路由+1 共享),原生 262K 上下文(YaRN 可扩展至 1M),兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  12. Hugging Face · 新模型:uncensored18

    ogies99/Gemma-3-Uncensored_v2-gguf 发布

    基于 Gemma-3 4B it 微调的无审查模型 Gemma-3-Uncensored_v2-gguf 发布,用 Unsloth 微调并转换为 GGUF 格式,提供 gemma-3-4b-it.Q4_K_M.gguf 和 F16-mmproj 文件,可用 llama-cli 或 llama-mtmd-cli 运行。模型调整了 BOS token 以兼容 GGUF,训练速度提升 2 倍;Ollama 暂不支持单独的 mmproj 视觉文件,需通过 Modelfile 创建统一的 bf16 模型使用。

  13. Hugging Face · 新模型:abliterated31

    htdohk/Huihui-Qwen3.8-Flash-Next-abliterated-MTP-GGUF 上架 Hugging Face

    abliterated 版 GGUF 模型 Huihui-Qwen3.8-Flash-Next-abliterated-MTP-GGUF 现已上架 Hugging Face,支持 image-text-to-text 多模态输入。页面给出 Transformers、llama.cpp(UD-Q4_K_XL 量化)、vLLM、SGLang、Ollama、Docker Model Runner 等多种本地运行与 OpenAI 兼容 API 部署方式,llama.cpp、Ollama 等均可直接拉取运行。

  14. Hugging Face · 新模型:abliterated20

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 模型的 GGUF 量化版本,包含 imatrix 量化及约 0.1GB 的 imatrix 文件供用户自行创建量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。作者感谢 nethype GmbH 提供服务器及 @nicoboss 提供私有超算支持。

  15. Hugging Face · 新模型:abliterated76

    Blackfrost 发布 Qwen3.8-27B-ABLITERATED GGUF 量化版,残留拒绝率2.4%

    Blackfrost 发布了 Qwen3.8-27B 的 abliterated 版本 GGUF 量化包,权重级降低拒绝行为,附完整 K-quant 阶梯(Q2_K 至 Q8_0)和视觉投影文件。450例拒绝基准(150 AdvBench、150 StrongREJECT、150 XSTest)经人工复核后残留11例真拒绝,占2.4%;W4A4 NVFP4 衍生版的 WikiText-2 词困惑度为9.3677,上游 BF16 为8.4764。每个主量化内嵌 MTP 投机头,可单文件在 llama.cpp 运行;可选 BF16 DFlash2 sidecar 在 RTX PRO 6000 上配 Q4_K_M 达到109.31 tok/s 中位解码速度,需固定实验性 llama.cpp 实现。

    推荐理由:原文给出450例拒绝基准的分阶段残留数据和量化档位清单,读者可据此判断该去对齐版本的拒绝率与部署成本。

  16. Hugging Face · 新模型:abliterated45

    huihui-ai 发布 Aleph-Alpha Kolibri-1-BF16 的 abliterated 去审查版 GGUF

    huihui-ai 基于 Aleph-Alpha/Kolibri-1-BF16 制作了 abliterated 去审查版本,全程使用 llama.cpp 处理 GGUF 完成,并重新量化上传了 Q2 至 Q8 及 BF16 共多个量化版本。模型需对 llama.cpp(commit 836d571)打 kolibri1 补丁才能运行,且 abliteration 未修改全部专家模块。由于安全过滤大幅削弱,仅建议用于研究与受控环境。

  17. Hugging Face · 新模型:abliterated23

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本,提供从 Q2_K 到 f16 共 12 种规格,体积介于 0.4-1.1 GB,其中 Q4_K_S/Q4_K_M 被标注为快速且推荐,Q8_0 为最佳质量。weighted/imatrix 量化暂不可用,用户可通过 Community Discussion 提出请求。

  18. Hugging Face · 新模型:abliterated28

    mradermacher 发布 Qwen3-06B-3MPER0RR-abliterated 静态 GGUF 量化版本

    mradermacher 在 Hugging Face 发布 Qwen3-06B-3MPER0RR-abliterated 模型的静态 GGUF 量化版本,提供从 Q2_K(0.4 GB)到 f16(1.3 GB)共 13 种量化类型。其中 Q4_K_S、Q4_K_M 标注为快速且推荐,Q6_K 质量很好,Q8_0 快速且质量最佳。加权/imatrix 量化版本可在其模型页面获取,使用方法可参考 TheBloke 的 README。

  19. Hugging Face · 新模型:abliterated36

    huihui-ai 发布 Qwen3.8-Flash-Next 的 abliterated 无审查 GGUF 版本

    huihui-ai 在 Hugging Face 上发布 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF,这是用 abliteration 技术移除拒绝行为的 Qwen/Qwen3.8-Flash-Next 无审查版本。GGUF 文件来自 unsloth 系列,支持最新 llama.cpp 和 Strata,可用 llama-cli 加载,上下文设为 -c 262144。发布方提醒该模型安全过滤已大幅削弱,仅建议用于研究、测试或受控环境,使用后果由用户自行负责。

  20. Hugging Face · 新模型:abliterated75

    Qwen3.8-27B-ABLITERATED GGUF 量化全梯子发布,450 例基准残余拒绝率 2.4%

    Xeldia 在 Hugging Face 发布 Qwen3.8-27B-ABLITERATED 的 GGUF 版本,提供 Q2_K 到 Q8_0 全部标准 K-quant 及视觉投影器,由 Blackfrost-AI 的 BF16 去对齐权重转换而来,保留 262,144 token 上下文和原生 MTP 投机头。发布页给出 R1-HARMFUL-BENCH-450 拒绝基准:经三阶段筛选后残余 11 例真拒绝(2.4%),并附 WikiText-2 困惑度对比与 DFlash2 投机解码实测中位 109.31 tok/s;DFlash2 路径需固定 llama.cpp PR #27342 实现。

    同一新闻,精选展示《Blackfrost 发布 Qwen3.8-27B-ABLITERATED GGUF 量化版,残留拒绝率2.4%》

  21. Hugging Face · 新模型:abliterated39

    Huihui-Kolibri-1-abliterated-GGUF:Aleph-Alpha Kolibri-1 的去审查版本发布

    huihui-ai 发布 Aleph-Alpha/Kolibri-1 的去审查(abliterated)GGUF 版本,完全基于 llama.cpp 对 GGUF 模型完成消融,未修改全部专家模块。原版 llama.cpp 尚不支持 kolibri1 架构,需在 upstream commit 836d571 上应用仓库附带的 kolibri1-llama.cpp.patch 补丁并编译。模型仅建议用于研究与受控环境,用户需自行承担法律与伦理责任。

  22. arXiv · cs.AI16

    QCATS:查询上下文感知的 Transformer 切片框架,实现高效数据库内预测查询

    QCATS 是一个查询上下文感知的 Transformer 切片框架,利用查询谓词和元数据统计在模型执行前预选上下文对齐的 FFN 切片,实现数据库内高效稀疏推理。框架包含离线专家构建和轻量查询级路由,并引入异步 CPU-GPU 流水线与路由感知批处理等系统优化。在 BERT-base 和 Qwen-0.6B 的四项预测查询工作负载上,QCATS 延迟最多降低 4.42x,预测精度与稠密基线相当。

  23. arXiv · cs.CL45

    EncBank:将预训练 LLM 的编码器缓存为跨查询可复用的紧凑记忆

    研究者提出 EncBank,把预训练 LLM 的低层视为可复用的文档编码器并紧凑存储其输出,供适配后的上层读取器使用,且各存储精度共享自蒸馏 suffix adapter、无需针对量化重训。在三个不同规模的 Qwen 骨干上的五个 benchmark 套件中,4-bit 存储与原生精度 EncBank 各项 aggregate 差距在一个分数点内;在固定 Qwen3-8B 负载下仅保留 28.1% 的原生精度 GPU 常驻存储,并实现 1.40x prefill 加速(RULER 准确率损失 3.12 分),原生精度 Qwen3.8-27B 还通过 Terminal-Bench 2.1 的 89 项任务中的 70 项。

  24. arXiv · cs.CL44

    CHASE:基于通道对齐结构利用的几何感知模型工程方法

    研究者提出 CHASE(Channel-Aligned Structure Exploitation),利用几何与谱对齐(GSA)刻画的结构开展模型修改、重构与压缩,共覆盖六项应用。其中 CORA、COEC、CORAM 分别用于参数高效微调、结构化剪枝补偿和模型合并,新方法 CAGA 通过多头注意力共享 KV 表示改进 MHA-to-GQA 转换,SAKV 与 CAPS 分别在 KV-cache 压缩和结构化剪枝上优于代表性基线。结果表明 GSA 识别的结构可直接用于多种模型操作的方法设计。

  25. Hugging Face · 新模型:abliterated30

    sanasol2008 发布 Qwen3.8-Flash-Next-Abliterated-Sushi-2bpw 量化模型

    Hugging Face 用户 sanasol2008 发布 Qwen3.8-Flash-Next-Abliterated-Sushi-2bpw,这是基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重直接转换的实验性 Sushi 格式 2bpw 量化包,本身未做额外 abliteration 或微调。完整下载约 64.87 GiB(含 29.8 GiB n-gram sidecar),在 Apple M3 Max / 48 GiB 上用 Sushi 1.1.1 测试,warm decode 约 26.48 tok/s,配置上限 256k 上下文,并保留了视觉权重与 MTP 权重(MTP 推理未验证)。

  26. Hugging Face · 新模型:abliterated44

    Qwopus3.8-27B-Flash-V2-abliterated-exl3-6.0bpw 在 Hugging Face 发布

    Qwopus3.8-27B-Flash-V2 是基于 Qwen3.8-27B 的 Qwopus3.8-27B-Flash 的更新后训练版本,采用新的奖励函数与强化学习方法,目标是减少无效推理、降低 Agent 长任务的推理成本。V2 还针对上一版报告的 Python 缩进问题进行改进,在 temperature-0.3 的 Python 格式检查中未再观察到格式失败,该机制仍是工作假设。