跳到正文
Hugging Face · 新模型:uncensored·· 15 天前AI 评分50

GLM-4.7-Flash 无对齐版 GGUF 仓库发布,附 Ollama 0.32.1 速度修复与上下文调参说明

AI-conn/GLM-4.7-Flash-Uncensored-HauhauCS-Balanced

来源与原文

Hugging Face · 新模型:uncensored

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/AI-conn/GLM-4.7-Flash-Uncensored-HauhauCS-Balanced

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

AI-conn 在 Hugging Face 上 fork 了 HauhauCS 基于 Zhipu AI GLM-4.7-Flash 制作的无对齐版本 GGUF,以固定副本并附带部署修复说明,推荐 20 GB 显卡使用 Q4_K_M 量化(16.89 GiB)。实测指出 Ollama 0.32.1 之前会把该 MoE 当密集模型执行(13.7 tok/s),升级到 0.32.1 后达 77.8 tok/s;默认 202,752 token 上下文会导致 prefill 约 51 秒、解码约 10 tok/s,建议 Modelfile 设 num_ctx 32768 和 num_batch 2048(25K prompt 从 665 秒降到 33 秒)。

来源:Hugging Face · 新模型:uncensored · huggingface.co