drakarah 发布 Huihui-Ornith-1.5-35B-A3B-abliterated 的 TensorRT Edge-LLM INT4 量化版

drakarah 在 Hugging Face 发布 huihui-ai/Huihui-Ornith-1.5-35B-A3B-abliterated 的 INT4（GPTQ）TensorRT Edge-LLM 导出版，面向 8 GB RTX 4060，MIT 许可。专家权重 16.1 GB 常驻主机内存，KV cache 为 INT8，去除了拒绝行为。实测 RTX 4060 上 HumanEval-think 62/66 通过，decode 68-78 tok/s（5k-65k 上下文），prefill 约 1,300 tok/s。