跳到正文
10月11日周日
  1. Reddit · r/LocalLLaMA57

    Reddit 用户实测 64GB Mac 用 oMLX 跑 Qwen3.8-Flash-Next-oQ4e-mtp 量化模型

    Reddit 用户 /u/chibop1 称在 M3Max 64GB Mac 上用 oMLX 最新 commit 成功运行 Qwen3.8-Flash-Next-oQ4e-mtp,自己从 Qwen 仓库手动量化为 OQ4E,约 4.72 BPW。4K 上下文生成 1K token 可达 30 tok/s,最长跑过 130k 上下文;真实会话实测 prompt 处理 140.0 tok/s、生成 15.8 tok/s、缓存效率 90.9%,并给出了 memory guard、SSD N-gram Offload、MoE Expert Offload 等 oMLX 设置。

  2. Hugging Face · 新模型:uncensored28

    ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 发布 AutoRound W4A16 量化版本

    Kre80r 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 的 AutoRound W4A16 量化版,采用对称 4-bit 权重、group size 128,体积从 54.7 GB 降至 18.7 GB,上下文长度 262,144 保持不变。量化在 2x RTX 3090 上约 8 小时完成,已在 vLLM 0.29.0 中通过加载和文本、图像、工具调用冒烟测试,但未做质量评测。该模型经 Heretic 去审查处理、安全对齐大幅削弱,仅限研究与实验用途,许可为 PolyForm Small Business 1.0。

  3. Hugging Face · 新模型:uncensored49

    Zyszztggd 发布 Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored-NM-DAU-NEO-MTP-GGUF 微调模型

    Hugging Face 用户 Zyszztggd 发布基于 Qwen 3.8 27B 的多阶段微调模型,8 bit 量化 arc-c 达 699,4 bit 达 692,高于原版 Qwen 3.8 27B。该模型将 thinking tokens 减少至原来的 1/2 到最低 1/20,提供 5 种推理模式和 5 种 instruct 模式(可经 API 或对话中即时切换),instruct 模式零推理 token。模型以 GGUF 格式发布,含 regular 与 MTP Neo MAX 量化版本,为强去审查(uncensored)版本,基于 Unsloth 在消费级硬件上训练。

  4. Reddit · r/LocalLLaMA60

    Qwen3.8-Flash-Next 配 pi 在 RTX 5090 上以 11 分钟跑完 airbench 全对,快于 Claude Code 的 14 分钟

    /u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版(ISTA-DASLab GSQ-RCO GGUF)在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件,11 分钟拿到 100% 得分,而 Claude Code 同任务同分但耗时 14 分钟;作者更正原标题未说明这是面向日常任务的基准,不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘,IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49(16 分钟)、opencode 1.18.29 得 46/49(11 分钟)、dsh 0.2.0-rc.2 得 47/49(11 分钟)。

    推荐理由:作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时,并给出可复现的完整部署配置。

  5. Hugging Face · 新模型:abliterated43

    Qwen3.8-27B-ABLITERATED Splash 版本上线 Hugging Face:专为 Apple silicon 推理引擎 Splash 转换

    社区将 Blackfrost 的 Qwen3.8-27B-ABLITERATED(27B 参数)转换为 Inco AI 开源推理引擎 Splash 的 splash-packed-q4 格式,供 LM Studio 在 Apple silicon 上运行。包内含 4-bit affine 量化目标权重(组大小 64)、DFlash 2 投机解码草稿模型、BF16 视觉编码器和 tokenizer,磁盘约 16 GiB,原生上下文 262,144 tokens。转换仅做量化与重排,未改动权重;需 M3 或更新芯片、macOS 26.4+ 及至少 36 GB 统一内存。

  6. Hugging Face · 新模型:uncensored75

    AtomicChat 发布 Qwen-Image-2.1-Turbo 去拒绝文本编码器 GGUF,拒绝率从 88.9% 降至 1.2%

    AtomicChat 发布 Qwen-Image-2.1-Turbo 的 abliterated 文本编码器 GGUF,将 Qwen3-VL-8B-Instruct 的拒绝方向投影去除,作为聊天模型拒绝率从 88.9% 降至 1.2%(英文)和 38% 降至 0%(俄语),MMLU 保持 77.35% 不变。提供 BF16 到 Q2_K 量化阶梯,AD-Q4_K 的图像 LPIPS 偏移为 0.087(约为换 seed 偏移的六分之一);实测 45 条敏感提示词中无一改变出图结果,因原版 Qwen-Image 开放权重管线本无过滤器。

    同一新闻,精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%》

  7. Hugging Face · 新模型:uncensored45

    SargeDev 发布 JEV-27B-VL-Uncensored EXL3 量化版

    SargeDev 发布 JEV-27B-VL-Uncensored 的 EXL3 量化版,将 AutoTrust System-1 决策模块合并进 huihui-ai 去审查版 Qwen3.8-27B 骨干,量化约 3.0 bpw 路由权重。在 jev-distill-corpus-v3 的 test_set_30k(27,695 行)评测中,noul AUROC 0.992 通过门槛,但 choice top-1 0.870 与 score top-1 0.814 未达门槛。EXL3 精度校准测试尚未完成,refit 温度未经此精度验证。

  8. Hugging Face · 新模型:abliterated30

    Huihui-Qwen3.8-Flash-Next-abliterated-GGUF 发布:Qwen3.8-Flash-Next 的去审查版本

    huihui-ai 发布 abliterated 版 Qwen3.8-Flash-Next,通过 abliteration 技术在不使用 TransformerLens 的情况下去除模型的拒绝回复行为。GGUF 文件来自 unsloth 系列,支持最新版 Strata 和 llama.cpp,可用 llama-cli 以 262144 上下文长度运行。该模型安全性过滤被大幅削弱,仅建议用于研究和受控测试环境,不适合生产或公开商业应用。

  9. Reddit · r/LocalLLaMA32

    工程师实测 Gemma4-31B、Qwen3.8-27B 与 6.1-Sol 的软件工程能力对比

    一位有约 20 年经验的软件工程师用相同的 Q4 量化模型测试 Gemma4-31B 与 Qwen3.8-27B 做代码分析和项目编写。代码分析两者质量相当,Gemma4 效率更高(约 10 次服务器调用对 Qwen 的 20-30 次);新建 C#/WPF 项目中 Qwen3.8 经 1 次修订达到可用的 B+ 水平,优于 Gemma4 的 B-。作为对照的 GPT 6.1-Sol 一次通过、获评 A+,明显领先两个开源模型。

  10. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-Uncensored 的 EXL3 4.00bpw 量化版发布,单卡 24 GB 跑满 262K 上下文

    sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版,权重、lm_head、视觉塔和 MTP 头均为 4-bit,仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测:加载后显存 21.0 GB,无思考模式 155–167 tok/s,MTP 起草接受率 81%;作者注明只做了短测,最长提示词 9K tokens,质量未对照 BF16 源模型。许可为 Apache 2.0,去对齐工作来自 llmfan46。

    推荐理由:作者给出了单张 24 GB 卡上的实测数据,包括显存、速度和 MTP 接受率,对想本地跑同款量化的人有直接参考价值。

  11. Reddit · r/LocalLLaMA37

    三款 Qwen 3.8 量化模型在 4 档思考力度下解 AtCoder 近期题目对比

    一位 Reddit r/LocalLLaMA 用户在 5060ti 16GB 上用 AtCoder 近 30 天的 14 道题测试三个 Qwen 3.8 量化版本:Swift 1.5 IQ2_XS、Flash Next IQ3_S 和 27B IQS_3,各跑 none、low、medium、xhigh 四档思考力度,思考 token 上限 32k,全程耗时近 11 小时。结果显示提升思考力度主要带来 CAP 触顶而非解题提升,关闭思考则明显退化;Flash IQ3_S 解题最多且更快,是速度与准确性的最佳折中。

  12. Hugging Face · 新模型:abliterated75

    Qwen3.8-Flash-Next abliterated 版以 fngine 单卡包形式发布

    satellitedown 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated fngine 单 GPU 推理包,迁移 huihui-ai 的消融结果,48 层单拒绝方向拟合最小余弦 0.9999985。在 RTX 5090 上对 32 个轻度提示词,未消融版拒答 8 个、该包 0 个,数学、Python 与知识测试两版得分相同,速度无可测差异。pack 约 89 GiB,要求 sm_120a GPU、约 60 GB 主机内存,提供 OpenAI 兼容接口与 256K 上下文。

    推荐理由:给出了 abliteration 的迁移方法、消融方向拟合与拒绝率前后对照,可复核的去对齐发布。

  13. arXiv · cs.AI42

    Trace Evolution Bench:衡量智能体能否从自身环境轨迹中获得改进的评测协议

    Trace Evolution Bench(TEB)是一个将重新评分与上下文或权重更新分离的评测协议,主榜为代码任务,由封闭工作区的隐藏单元测试评分。在 40 个 held-out 任务上,DeepSeek v4 Pro 在 no_evolve 下仅重评分就变动 7.5、5.0 和 12.5 个百分点;九个受 GEPA、ACE、ExpeL 启发的文本更新单元有七个超出种子自身波动带,GLM 与 MiniMax 未复现该模式。

  14. Reddit · r/LocalLLaMA43

    48GB 显存兼顾速度与质量:Qwen 3.8 27B Swift 1.5 W8A16 量化版实测

    一位用户自制的 Qwen 3.8 27B Swift 1.5 量化版(8 bit AWQ + GPTQ,W8A16)可在 48GB VRAM 上兼顾速度与质量。用 vLLM 与 MTP=5 在 2 张 RTX 3090 上运行,解码速度接近 100 tok/s,开启 128k context 和 FP16 KV cache 时每卡占用约 21.6GB。作者称其比原版 3.8 27B 更少过度思考,是他认为 48GB VRAM 下的最佳折中方案。

  15. arXiv · cs.AI40

    决策基础模型研究:面向临床智能的参数高效微调与反事实可解释性

    研究者基于 Qwen3.5 骨干的 9B 参数决策模型 Clef-Flash,用 QLoRA 微调在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 准确率、macro F1 0.9551,超过 ClinicalBERT 的 90.90%。单次前向推理每条记录耗时不足 80 毫秒,报告称较生成式 LLM 基线提速 31 倍。其提出的 Leave-One-Symptom-Out 反事实扰动框架可揭示症状级证据。

  16. Hugging Face · 新模型:uncensored62

    beginning-ai 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 混合精度量化版

    beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored(去拒绝的 BF16 版)的 NVFP4 混合精度量化,目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个;checkpoint 占盘 120 GiB(BF16 源为 335 GiB),GPU 上约 78 GB 权重,47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s(2K 上下文)、约 240 tok/s(200K),KV cache 786K token、上下文 524K。

    推荐理由:原文给出了逐张量对比、校准数据与拒绝行为说明,读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。

10月10日周六
  1. Hugging Face · 新模型:uncensored44

    SargeDev 发布 JEV-27B-Uncensored-NVFP4:JEV 27B 家族首个去审查版本

    SargeDev 发布 JEV-27B-Uncensored-NVFP4,将 AutoTrust 的 System-1 决策模块合并到 huihui-ai 去审查版 Qwen3.8-27B 骨干上,成为 JEV 27B 家族首个 uncensored 版本,以 NVFP4(W4A4 + FP8 down_proj)量化、支持 vLLM 部署、上下文长度 32768。模型基于 740,957 行的 jev-distill-corpus-v3 语料训练。在 27,695 行测试集上,noul AUROC 为 0.985,但 choice top-1 降至 0.855、score top-1 降至 0.797,均低于 AutoTrust 的验收底线。

  2. Hugging Face · 新模型:uncensored51

    SargeDev 发布 JEV-27B-VL-Uncensored,将 System-1 决策模块合并进 abliterated Qwen3.8-27B

    SargeDev 在 Hugging Face 发布 JEV-27B-VL-Uncensored,把 AutoTrust 的 System-1 决策模块合并进 huihui-ai 的 abliterated Qwen3.8-27B backbone,使决策输出不经过原模型的拒绝机制。在 27,695 行测试集上,noul AUROC 0.985、choice top-1 降至 0.855、score top-1 降至 0.797,KL 0.055,重校准后各 ECE 指标达标;10 条 prompt 测试拒绝率为 0.0。

  3. Hugging Face · 新模型:uncensored62

    SargeDev 发布 JEV-27B-Uncensored,将 AutoTrust 决策模块合入 abliterated Qwen3.8-27B

    SargeDev 在 Hugging Face 发布 JEV-27B-Uncensored,是 JEV 27B 家族首个 uncensored 成员,将 AutoTrust 的 System-1 决策模块合入 huihui-ai 的 abliterated Qwen3.8-27B 骨干(第 18-51 层消融,视觉塔未动),使决策引擎在无拒绝线路下输出。

    推荐理由:原文给出了消融层范围、决策指标前后对比和拒绝率实测,读者可以据此判断去对齐带来的能力代价。

  4. Hugging Face · 新模型:abliterated17

    Longleaf-35B-A3B-Abliterated 上架 Hugging Face:仅有元数据的开发预览,权重未发布

    redhillsmediafl 在 Hugging Face 上架 Longleaf-35B-A3B-Abliterated 开发预览页,目前仅有元数据,尚无权重或已接受的 abliterated 版本。该模型是基于 Qwen3.6-35B-A3B(Apache-2.0 上游许可)的计划版本,面向编程和 agent 工作流,目标设备为 Mac Studio(M1 Ultra、64 GB 统一内存),以 Q4 为目标。当前版本的质量、速度和内存均未测得,无 SWE-bench 或 Terminal-Bench 等声明。

  5. Hugging Face · 新模型:uncensored54

    YueFong 发布 Qwen-Image-2.1 Uncensored GGUF 量化版

    YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版,用于本地图像生成。该版本移除内置安全检查器,可直接生成成人及敏感图像而不出现提示词拒答或黑图;提供 BF16 到 Q4_0 等多档量化(如 Q4_K_M 为 4.60 GB),并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。

    推荐理由:原文列全了各量化档位的文件体积与显存占用,还给出 ComfyUI 的部署步骤和文本编码器卸载方案,照做即可跑通本地生图。

  6. Hugging Face · 新模型:uncensored67

    YueFong 发布 Qwen-Image-2.1-Turbo 去拒绝文本编码器 GGUF,英文拒绝率从 88.9% 降至 1.2%

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored-GGUF,将 Qwen-Image 的文本编码器 Qwen3-VL-8B-Instruct 的拒绝方向投影移除,作为 stable-diffusion.cpp 的 --llm 使用。编码器作为聊天模型时,英文拒绝率从 88.9% 降至 1.2%,俄语从 38% 降至 0%,MMLU 保持 77.35% 不变;实测显示 Qwen-Image 开源管线本就无过滤,45 条敏感提示词的结果一条都没有改变,图像仅有约 0.088 的 LPIPS 偏移。

    同一新闻,精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%》

  7. arXiv · cs.AI54

    WorkBorne 论文提出以工件转变为 primitive 合成 Agent 任务

    arXiv 论文 WorkBorne 提出以 artifact transitions(工件转变)为核心 primitive 合成长时程终端 Agent 任务的框架,并构建了 1,061 个工件语料和 7,882 个任务环境,产出 15,485 条高质量轨迹,其中 53.6% 超过 30 个 assistant turns。

    推荐理由:原文给出了任务合成的具体数据规模和 Terminal-Bench 2.1 的前后对比,读者可评估该方法对训练终端 Agent 的实际增益。

  8. Hugging Face · 新模型:abliterated57

    swdq 发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 4-bit 量化版

    swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重,并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors,供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark(GB10)上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测,8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s;相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。

    推荐理由:原文给出了完整的量化方法、实测吞吐数据和复现命令,读者可以直接拿来在单机上部署这个 4-bit 版本。

  9. arXiv · cs.AI38

    TQG-Exp:用轨迹质量反馈改进大语言模型智能体的经验学习

    论文提出 TQG-Exp,一个以轨迹质量为导向的经验学习框架,通过引入 Trajectory Quality Loss(TQL)将任务完成度与过程质量共同作为学习信号,并利用成对 rollout 估计检索经验的贡献以优化经验效用与检索。在 ALFWorld、WebShop 和 ScienceWorld 三个基准上,TQG-Exp 的 Avg.@3 较最强基线在 DeepSeek-V4-Flash 与 Qwen3.5-Flash 上分别提升 4.50 和 8.55 个百分点。

  10. Hugging Face · 新模型:uncensored76

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%

    AtomicChat 在 Hugging Face 发布去对齐版 Qwen-Image-2.1-Turbo 文本编码器 GGUF,将 Qwen3-VL-8B-Instruct 的拒绝方向从权重中投影去除。作为聊天模型,英文拒绝率从 88.9% 降到 1.2%,俄语从 38% 降到 0%,MMLU 保持 77.35% 不变;45 条敏感图像提示词测试中无一翻转,图像输出仅有约 0.088 的 LPIPS 漂移。提供 BF16 到 Q2_K 量化分档,配 stable-diffusion.cpp 的 --llm 参数本地运行,方法基于 Arditi et al. 2024 的单方向拒绝机制研究。

    推荐理由:原文完整给出拒绝方向消融方法、拒绝率前后对照和量化分档对画面的影响,可据此自行评估这个去对齐编码器的实际改动幅度。

  11. Hugging Face · 新模型:uncensored43

    HauhauCS 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 去审查模型

    HauhauCS 在 Hugging Face 发布基于 Qwen3.6-35B-A3B 的去审查(abliterated)模型 Aggressive 版本,宣称 0/465 次拒绝,数据集和能力与原版完全一致。模型总参数 35B、每次前向激活约 3B(MoE),256 个专家中每个 token 路由 8 个,原生 262K 上下文,支持文本、图像、视频多模态。提供 K_P 自定义量化(等效提升 1-2 个量化等级、文件仅大 ~5-15%),兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  12. Hugging Face · 趋势模型42

    vllm-sr/d3:Decision 3.0 的 27B 多模态决策模型发布

    vLLM Semantic Router 发布 27B 多模态基础决策模型 d3(Decision 3.0),参数 26.09B(含 0.46B 视觉编码器),一次调用回答 Choice、Yes/No、Score 类问题并返回每个选项的概率,不生成文本。Jev Decision Index 0.3.2 达 66.3 居官方文本榜第一,比 Decision 2.0 的 55.9 高 10.4;文本请求中位延迟 54.4 ms,Apache-2.0 开源,可用 vLLM Semantic Router 部署。

  13. Hugging Face · 新模型:uncensored56

    Qwen3.5-9B-Claude-4.6-HighIQ-INSTRUCT-HERETIC-UNCENSORED 微调模型发布,拒绝率从 100/100 降至 6/100

    cookies55 在 Hugging Face 发布了 Qwen3.5-9B 的去审查微调版,用 Unsloth 在本地硬件以 Claude 4.6 大型蒸馏数据集训练,经 Heretic 消融后拒绝率从 100/100 降到 6/100,KL 散度为 0.0793。该版本为 INSTRUCT 模式并修改了 jinja 模板,图像输入经测试可用,视频部分未测试,建议最低 q4ks(非 imatrix)或 IQ3S(imatrix)量化。

    推荐理由:作者给出了消融后的 KL 散度和拒绝率前后对比,以及七项基准分数变化,读者可自行判断去对齐的代价。

  14. Reddit · r/LocalLLaMA68

    作者发布 strata-mlx:在 Mac 上用 MLX 引擎运行 Strata 的 GGUF 模型

    作者花了约一天半写出非官方 MLX 引擎 strata-mlx,直接读取 Strata 的 GGUF 文件、不改权重,在 Mac 上运行 Qwen3.8-Flash-Next 这个 125B 参数 MoE 模型。内存不足以装下整个模型时按需从 SSD 读取专家;模拟测试中 66 GB 的 Q2_0 文件在 16 GB、24 GB、32 GB 内存档位分别跑出 6–7、19–23、28–47 tokens/秒,提示词读取约 273–287 tokens/秒。代码与实验日志在 https://github.com/yibie/strata-mlx。

    推荐理由:作者用限内存实测给出不同 Mac 内存档位的运行速度数据,对想在 Mac 上跑超内存大模型的人有参考价值。

  15. Hugging Face · 新模型:uncensored60

    HauhauCS 发布 Qwen3.8-27B Uncensored Aggressive 变体的 GGUF 量化与 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Uncensored Aggressive 无对齐变体 GGUF 量化,实测 0/465 次拒绝,无前导客套地直接回答。所有文本 GGUF 保留原生 NextN/MTP 头,并附带 HauhauCS FastMTP 32K 加速 sidecar,在 RTX PRO 6000 上对比关闭 MTP 时文档 TG 最高达 3.02x、推理 TG 最高 1.93x,Q8_K_P 档位比标准内嵌 MTP 快 35.2%/21.1%;提供 Q2 至 Q8 及 IQ 系列量化、BF16 视觉 projector、llama.cpp 补丁与部署命令,附 Ed25519 签名清单校验。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  16. Hugging Face · 新模型:uncensored79

    Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100

    作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本(IQ2_M 到 Q8_0),用 Heretic 移除拒绝方向,保留 MTP 头,拒绝行为显著减少但未消除,从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加(相对约 0.7%),MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测(n_max 1 时约 1.19x-1.28x 加速)。

    推荐理由:作者给出了 Heretic 消融方法、拒绝率从 98/100 降到 12/100 以及困惑度和基准的前后对照数据,可以据此判断权重编辑的实际代价。

  17. GitHub · 去对齐工具与仓库26

    小厨灵(AI-Search-food):开源多模态 AI 厨房助手

    开源项目小厨灵(classical-coderrr/AI-Search-food)上线,定位家庭日常烹饪的多模态 AI 厨房助手,支持输入、上传或拍摄食材获得个性化菜谱,并通过 Agent 对话管理饮食目标、库存和周菜单。项目基于 Java 17、Spring Boot 3 与 Vue 3,使用 DashScope/Qwen 兼容模型接口(需 API Key),提供 H2 本地体验与 Docker Compose 部署。长期记忆由用户掌控,可确认、修改或删除,推测需 90 天内至少 3 条行为、涉及 2 道菜谱才交用户确认。

  18. GitHub · 3D 生成新仓库33

    CacheFlow:统一步蒸馏与特征缓存的少步生成加速方法开源仓库发布

    GitHub 新仓库 shanhe321/CacheFlow 公布了 CacheFlow 的官方实现,该方法从频率感知角度统一步蒸馏与特征缓存,解决扩散模型极端少步加速下的语义保真与细节损失问题,提出频率感知策略蒸馏和可学习缓存策略。在 FLUX.1-dev、Qwen-Image 等模型上的实验显示,文生图与图像编辑质量具竞争力,实测加速最高达 55.31×,代码即将开源。

  19. GitHub · 3D 生成新仓库40

    Video Agent 开源:浏览器端的短视频生成 Agent 仓库

    GitHub 开源项目 liwanghuan/video_agent 发布了 Video Agent,一个浏览器端工作区,可将转录文本和少量照片生成社交媒体短视频。创意生成使用支持 Google Search grounding 的 Gemini(默认 gemini-3.8-flash),配音调用 Qwen3-TTS 服务,视频生成用 Google Cloud Vertex AI 的 Veo 3.1 Fast,最后用 FFmpeg 合成 H.264/AAC 编码的 MP4。项目无需前端构建步骤,支持 npm start 本地运行,也可部署到 Cloud Run。

  20. GitHub · 灵魂体仓库18

    RishabhPandyacom/bus5001-a3-esg-automation:ESG 自动化课程作业证据仓库

    该仓库存放 ESG 自动化报告的支撑材料,包含四个部分:Dialogflow CX 智能体导出与演示脚本、Snowflake 共担责任图(Graphviz)、LLM 分诊实验(使用 Qwen/Qwen2.5-1.5B-Instruct,bf16、CPU 上 greedy 解码,共 28 次 LLM 运行,每次约 30 秒,另含规则基线与 bart-large-mnli 基线),以及 NotebookLM(Gemini Notebook)实验记录。作者注明在本人指导下使用 Claude(Anthropic)作为辅助工具。