Hugging Face · 新模型:uncensored·· 16 天前AI 评分28
ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 发布 AutoRound W4A16 量化版本
Kre80r/ThinkingCap-Qwen3.8-27B-Uncensored-Heretic-AutoRound-W4A16
来源与原文
Hugging Face · 新模型:uncensored
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/Kre80r/ThinkingCap-Qwen3.8-27B-Uncensored-Heretic-AutoRound-W4A16
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Kre80r 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 的 AutoRound W4A16 量化版,采用对称 4-bit 权重、group size 128,体积从 54.7 GB 降至 18.7 GB,上下文长度 262,144 保持不变。量化在 2x RTX 3090 上约 8 小时完成,已在 vLLM 0.29.0 中通过加载和文本、图像、工具调用冒烟测试,但未做质量评测。该模型经 Heretic 去审查处理、安全对齐大幅削弱,仅限研究与实验用途,许可为 PolyForm Small Business 1.0。
来源:Hugging Face · 新模型:uncensored · huggingface.co