IQuest-Q1:面向智能体 CLI 系统的基座能力升级
IQuest-Q1 是一款稀疏 MoE 智能体基座模型,总参数 320B,激活 15B,通过预训练、中期训练与多 scaffold 后训练三阶段流程构建。该模型结合 SFT、领域专项 RL 与 MOPD 强化智能体编码能力,并以开源形式发布。
新闻、仓库与研究,按时间排列。
IQuest-Q1 是一款稀疏 MoE 智能体基座模型,总参数 320B,激活 15B,通过预训练、中期训练与多 scaffold 后训练三阶段流程构建。该模型结合 SFT、领域专项 RL 与 MOPD 强化智能体编码能力,并以开源形式发布。
Hugging Face 上发布 Sage-A1.5 Heretic Abliterated 的 EXL3 4.0bpw 量化版本,由 exllamav3 1.6.4 的 convert.py 生成,decoder 约 4.05 bpw、lm_head 6 bit、MTP 4 bpw,视觉塔保持 bf16 未量化。目录约 19GB 含三个 safetensors shard,MTP 权重与预处理器配置从父模型 InternScience/Sage-A1.5 补齐,需 exllamav3 1.6.4 加载,可用 -mode qwen35 并开启 MTP draft。
distributedcognition 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 abliterated 版本,将 refusal directions 从同系 DeepSeek-V4.1-Flash-abliterated 迁移而来,以 scale 3.0 的保范双投影编辑作用于 attn.wo_b 和共享专家 ffn.shared_experts.w2(第 4-36 层)。评测显示 LLM 评审下真实拒绝率从基座的 99/100 降到 0/100(53 条完全配合、47 条带免责声明),无害提示 KL 散度 0.093,GSM8K 抽测 18/20 对比基座 19/20。
推荐理由:原文给出拒绝率前后对比、KL 散度和 GSM8K 抽测数据,并说明关键词检测与 LLM 评审的差异,读者可据此评估去对齐程度。
Reddit 用户 /u/Queasy_Asparagus69 将 Swift-1.5 微调版 Qwen3.8-27B 量化为 hipfire 的 MQ4 格式并附带 MTP 头用于投机解码,目标是让 AMD 用户获得比 llama.cpp 更快的速度。在 RX 7900 XT 20GB、ROCm 7.1 环境下,Prefill 快约 1.4–1.85 倍,16K 上下文约 1100 tok/s(llama.cpp 约 700);带 MTP 的真实 prompt 解码 36.5 tok/s(τ≈1.94),16–49K 上下文为 52–59 tok/s。六个约 10–20K token 的真实 Rust 编码任务全套耗时 237 秒,对 llama.cpp 的 530 秒,端到端快 2.24 倍。
推荐理由:作者在同一块 7900 XT 上用真实 Rust 任务给出与 llama.cpp 的逐项速度对比,数据足够具体可复现。
Reddit r/LocalLLaMA 用户发布 Swift 1.5 Qwen 3.8 flash next 的 heretic 去审查版量化模型(mean KLD 0.06,median 0.02),按 per-tensor 量化为 Unsloth Dynamic IQ4_XS 格式,使用面向智能体场景(英文、工具调用、数学、代码、推理)的自定义 imatrix。该版本已 strata ready,附带包含 mtp head 和视觉组件等所需文件的 zip 包,质量高于 ISTA 版。
基于 huihui-ai 的 abliterated Qwen3.6-35B-A3B 模型、面向 Jetson AGX Orin 64GB 的 Orinfer E8P Q4A8 量化版在 Hugging Face 发布,权重共 35,951,822,704 参数、约 4.209 bits/权重,上下文 262,144 tokens,需 Orinfer v0.2.1 运行。验证显示单次请求 65.83 tokens/s,10/11 自动评分任务通过,权重采用 Apache-2.0 许可。
KRAFTON 从零训练的 Raon-1 mini preview 发布,为 30B-A4B(28.8B 总参数、每 token 激活 4.3B)MoE 模型,采用 Raon Delta Attention 与 Raon-mHC 的混合注意力架构,原生支持 262,144 token 上下文,以 Apache 2.0 许可开源。主打韩语对话与 Agent 任务,支持 Hermes Agent、Pi 和 OpenCode 工具调用;官方基准显示其在 IFBench、Chatbot Korean 等项目领先对比 MoE 模型。
推荐理由:模型卡给出了与其他 MoE 和稠密模型的基准对比、架构细节和完整本地部署方案,可据此评估其真实定位。
AuroraTTS-100K 是一个英文文本转语音模型,参数量不到 100K 即可生成基本可理解的语音。INT8 量化后仅占 127KB,在 CPU 上达 72 倍实时速度、GPU 上达 1120 倍;但遇到难词或长数字时可能含糊不清。
基于 Artificial Analysis 数据绘制的 11 个开源权重模型得分与总参数量(log 轴)对比图。Muse Spark Open(816B,42B active)得 39 分,Qwen3.8-Flash-Next(180B,6B active)得 40 分;最高为 MiMo-V2.6-Pro(1T)的 46 分,DeepSeek V4.1 Flash 1017(552B)和 GLM-5.3(753B)均为 45 分。该指数是 AA 自评的单一综合分,不反映速度、长上下文或视觉能力。
一位用户反映 Gemma4 26b(base、Boulesis、StyleTuneV2)能理解角色、场景和动机,但在生成时无法呈现细节,比如详细描述的剑只会被写成“闪亮的金属”,追问细节则输出紫色调文或套路化文字。用户调整提示词无果,认为 Kimi 2.6 在引导细节想象方面表现最好。其配置为 Voyage、FF、Pura's presets,8gb VRAM,只能跑合理 tk/s 的 MoE 模型,并询问 Qwen3.8 等替代方案。
Hugging Face 用户 MishraNepali 发布 Lily-Cybersecurity-7B-Uncensored 的 GGUF Q5_K_M 重新量化版本,体积从 13.5GB 降至 4.07GB,可在 16GB 内存的 CPU 上运行,也可在 Google Colab 使用。该模型源自 segolilylabs/Lily-Cybersecurity-7B-v0.2(Apache 2.0 协议),中间版本由 NiroshanDH 量化并做 abliteration 处理,推荐上下文窗口 4096 tokens,量化版可能出现模型幻觉。
virtuehearts 在 Hugging Face 发布 ministral-uncensored 的 GGUF 量化版本,提供 Q4_K_M 等格式。该模型可通过 llama.cpp 本地运行,支持 OpenAI 兼容服务器与终端推理,也可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中加载使用。
HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。
推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。
Shinzuu 发布 free-model-bakeoff 评测,六个免费模型在 126 次评分尝试、14 个对抗性问题上跑生产级 tool-calling 流程。openai/gpt-oss-20b 答对 88%、工具路由正确率 95%,超过比它大六倍的模型(64%/76%);同一权重换托管方降到 64%、中位延迟 28 秒。关键发现包括每日 20 万 token 的隐性限额(约等于全团队每天 60 个问题)、一句补充 'open' 定义的系统提示词带来最大准确率提升,以及评测中发现并修复的六个 harness bug。
推荐理由:实测给出六个免费模型的准确率与工具路由数据,并指出同权重不同托管方的表现差异可能比模型间差距更大。
Hugging Face 发布卫星嵌入模型 OlmoEarth v1.3,可读取一整年的 Sentinel-1 雷达与 Sentinel-2、Landsat 多光谱数据,为全球每个 10 米像素生成 128 维嵌入向量,并同步公开全球预计算嵌入及浏览器工具 Embeddings Explorer。在 27 项评测中,其 128 维嵌入在 20 项上领先 AlphaEarth Foundations(AEF)和 Tessera v2,64 维版本在 18 项上领先;模型权重、预训练数据与代码全部开源,复现一次最终训练约需 $2,720 的 H100 租用算力。
TristanUK 在 Hugging Face 发布 abliterated 版 Qwen2.5 7B 的 GGUF 量化模型(Q4_K_M),提供去审查变体供本地推理使用。该模型可通过 llama.cpp 直接运行,支持 llama serve 启动 OpenAI 兼容本地服务器或命令行推理,也提供 Ollama(ollama run)、Docker Model Runner、Lemonade 等拉取运行方式。此外可接入 Pi、Hermes Agent、OpenClaw 等本地 Agent 工具,作为默认模型使用。
TristanUK 在 Hugging Face 上传了 abliterated LoRA 微调模型 onyx-qwen2.5-7b-abliterated-lora,基于 huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2 微调而来,采用 apache-2.0 许可证。该模型借助 Unsloth 实现了 2 倍训练加速,可在 Transformers 中通过 AutoModel 直接加载使用。
inclusionAI 基于 Ling-3.0-flash 推出医疗专用模型 Ling-3.0-flash-Sante,总参数 124B、每 token 激活 5.1B,采用混合线性 MoE 架构(KDA、gated MLA、稀疏 MoE)。训练上下文扩展至 256K tokens,默认开启思考模式并支持工具调用,面向医疗推理、深度研究与多智能体协作。模型权重已在 Hugging Face 和 ModelScope 开放,官方强调其为研究模型而非医疗器械。
InclusionAI 发布基于 Ling-3.0-flash 的医疗模型 Ling-3.0-flash-Sante,总参数 124B、每 token 激活 5.1B,上下文窗口 256K。该模型面向医疗推理、文献研究与工具辅助工作流,权重已上架 Hugging Face。这是 InclusionAI 当天继 3.1-flash-1019 更新后公布的第二款模型。
Burabeeh Lab 发布开源权重无审查大语言模型 Kimibrain 的官方 GGUF 版本,支持 Ollama、llama.cpp、LM Studio。模型总参数 34.7B(MoE 架构,256 专家、每 token 激活约 3B),上下文长度 262,144 tokens,附带可选视觉投影器可读图,采用 Q4_K_M 量化,文件 19.7 GiB,基于 Qwen3.6-35B-A3B 社区量化版打包,权重未改动,仅修改元数据和 chat template,以 Apache 2.0 许可开源。
Hugging Face 上架了基于 huihui 去限制版 GLM 4.5 Air 制作的 50% REAP 剪枝模型,由 concedo 上传。相比此前尝试,校准数据集被泛化(仍保留 60%/40% 创作偏向)并按源数据重新封装,激活记录长度从 3072 提升到 8192,并采用稀疏 observer 避免物化整个 [128, dim, tok] 块。该模型目前未经测试,可能无法加载、产生乱码或无法量化。
yfHHHE 发布 emoji-native-lm,基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调,对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息,由 Claude Opus 生成并回复,覆盖 1,915 种 emoji;666 条评测提示下经 wrapper 的回复 100% 合规,首轮采样合规率 98.9%,而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF(1.8 GB q8_0)及 Python wrapper 部署方案,代码采用 Apache 2.0 许可。
推荐理由:仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据,读者可以照此复现并借鉴其偏见修正做法。
Hugging Face 上线 mradermacher 制作的 LFM2.5-2.6B-Tema_Q-Abliterated-i1 GGUF 量化模型。该模型参数规模约 1.2M,页面未提供下载量统计,仓库卡片缺少 YAML 元数据,硬件兼容性信息需登录后查看。
ReadyArt 发布 Omega Arsenal 31B Final,作者称这可能是其一段时间内最后一款 31B 模型,效果明显超过 Swish,并基于 Scotoma 2 训练。该模型是融合 Wicked Tutu、Dark Scarlett、For Her Darkside、Melody1437 等数据集的暗黑向 smut 微调,训练采用 3 epochs 和 128 lora,耗时 24 小时以上。下一步作者计划训练 122BA10B 版 Wicked Tutu,但需 4xH200,预计下月启动。
Hugging Face 上由 concedo 上传的 GLM 4.5 Air abliterated 版本(huihui 去限制版)的 37.5% REAP 剪枝模型。相比此前失败的尝试,校准数据集被泛化(保留 60% creative bias)并按源基准重新打包,激活记录长度从 3072 提高到 8192,并使用稀疏 observer 避免物化整个 [128, dim, tok] 块。模型目前未经测试,可能无法加载或输出乱码。
Ant Ling 的 Ling-3.1-flash 将推出 1019 版本,Artificial Analysis Intelligence Index 得分从 41 升至 44。智能体评测方面,AutomationBench-AA 从 62% 提升到 68%,AA-Briefcase 从约 1400 升至 1524 Elo。API 与开源权重均标注“即将推出”,暂无具体发布日期。
DavidAU 团队发布基于 Qwen3.8-27B 的多阶段微调模型 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored,提供常规与 MTP 两种 NEO imatrix GGUF 量化。8bit 下 ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 591);思考 token 缩减至原版的 1/2 到 1/10。去审查用 Heretic v1.2.0+ 的 ARA 方法,Stage 1 拒绝率从 99/100 降到 0/100,KL 散度 0.0535。
同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》
AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF,将 Qwen-Image 的文本编码器 Qwen3-VL-8B-Instruct 的拒绝方向投影移除,供 stable-diffusion.cpp 以 --llm 参数本地运行。作为聊天模型,英文拒绝率从 88.9% 降至 1.2%,俄语从 38% 降至 0%,MMLU 保持 77.35% 不变;图像侧在 45 条敏感提示上无一翻转,因原管线本就无内容过滤。提供 BF16 到 Q2_K 共 7 档量化,AD-Q4_K 为 4 bit 推荐,附完整制作方法与局限说明。
同一新闻,精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%》
Hugging Face 上架了 Spark-X2.6-4B-Tema_Q 的 abliterated 版静态量化 GGUF 模型,由 mradermacher 发布。该模型目前未部署到任何 Inference Provider,下载量也未被统计,用户如需推理托管可向平台申请支持。
mradermacher 在 Hugging Face 上发布 LFM2.5-2.6B-Tema_Q-Abliterated 的 GGUF static quants 量化版本。该模型目前未被任何 Inference Provider 部署,下载量未被追踪。
Hugging Face 上可用 nchapman 发布的 Huihui-Qwen3.6-35B-A3B-abliterated-W4A16-GPTQ,这是一个 abliterated 版的千问(Qwen3.6)多模态模型 W4A16 GPTQ 量化版本。页面给出用 Transformers、vLLM、SGLang 加载或部署的代码示例,三者均支持 OpenAI 兼容 API,也可通过 Docker Model Runner 运行。
团队发布开源 DNA 语言模型 Carbon-X,基于 Qwen3 14B 在 DNA 与自然语言混合语料上 midtraining 训练,在五个 DNA benchmark 上超过所测全部开源模型,并媲美 GPT-6.1 Sol,成本约低 1,000x。模型已提供 GGUF 版本,可经 llama.cpp 本地运行,支持用自然语言分析 DNA 序列、预测突变影响和生成新 DNA。
mradermacher 在 Hugging Face 上发布 qwen2.5-3b-abliterated-argos 的 static quants(GGUF 静态量化)版本。该模型暂无下载统计,也未被任何 Inference Provider 部署,用户可申请提供推理支持。
fribourgquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,主打去对齐与思考 token 缩减。用 Heretic v1.2.0+custom 的 ARA 方法消融后,Stage 1 拒绝数从原版 99/100 降到 0/100,Stage 2 平衡后为 11/100、KL 散度 0.0025;8bit ARC-C 达 0.735、ARC-E 0.882,4bit ARC-C 0.719,均高于原版 Qwen3.8-27B。思考块缩减至原版约 1/2 到 1/10,支持 xhigh/medium/low 三档推理模式;MTP 量化在 Q4_K_S 上约 90 t/s,普通量化约 75 t/s(5090、LMStudio 实测)。
推荐理由:作者给出了 Heretic 消融前后 100 次拒绝数与 KL 散度的对照数据,以及各量化档位的基准分数,可据此评估该去对齐微调的实际效果。
Hugging Face 发布 Granite Timeseries Ensemble,将四个不同架构的预训练 Granite 时间序列模型(PatchTST-FM-r1、PatchTST-FM-r2、FlowState-r1.1、TTM-r3)组合成一个无需重训练、无需拟合权重的集成预测接口。默认 Probabilistic Ensemble 采用等概率池化,另提供按预测离散度自适应加权的 IQR Ensemble。两个配方在 97 个 GIFT-Eval 数据集配置上评估,配置经宽松许可开源,可通过 granite-tsfm>=0.3.11 从 Hugging Face 加载。
fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 去审查(uncensored)量化版。附带的性能测试显示,EXL3 3.5 配置在并发 1 时生成速度约 129.3 tokens/s、并发 32 时约 480.8 tokens/s,并发 1 的 time_to_content_p50 约 0.39 秒;同测试中 Native MXFP4 在并发 32 达 831.7 tokens/s,NVFP4 target 达 796.1 tokens/s。
fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 2.875bpw uncensored 量化版本。附带的性能测试显示,Native MXFP4 在 batch 32 时达到约 831.66 tokens/秒,EXL3 2.875 在 batch 32 为约 452.16 tokens/秒,batch 1 时首 token 延迟约 0.41 秒。量化模型可在 Hugging Face 获取。
fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型,并给出基准测试数据。原生 MXFP4 在单并发下达 146.84 tokens/秒、32 并发下达 831.66 tokens/秒,高于 NVFP4 target 与 EXL3 2.875/3.5 配置;单并发 time_to_content p50 为 0.34 秒。该模型为 uncensored 版本,测试数据已公开。
mradermacher 在 Hugging Face 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化模型,提供按大小排序的多种量化版本及 0.2GB 的 imatrix 文件供自行制作量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。
EsteefAi 在 Hugging Face 发布 ttindall 的 Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 镜像,文件与原版逐字节一致(SHA-256 相同),采用 apache-2.0 许可。镜像旨在保证 Philibert 安装可用,支持通过 Ollama 拉取 IQ4_XS 和 Q6_K_P 两种量化版本。