AppleSilicon | 杜叔叔网盘https://du.hmng.deJANG: 面向 Apple Silicon 的 MLX 混合精度量化格式• 针对 MoE 与超大模型做按张量分配比特宽度，在接近 MLX 体积下优先保留 attention 与 router 精度，低比特场景下稳定性和效果更强• 支持 Qwen、Nemotron、MiniMax、DeepSeek 等架构，部分模型可在 16 GB 或 64 GB Mac 上运行，甚至实现 397B 级模型在 128 GB Mac 上推理• 原生兼容 MLX 生态，提供推理模式、VLM 支持、bfloat16 自动检测和开发者集成方案，适合在 Apple Silicon 上部署高压缩本地模型https://du.hmng.de/posts/341https://du.hmng.de/posts/341Wed, 25 Mar 2026 04:51:15 GMT<u>JANG: 面向 Apple Silicon 的 MLX 混合精度量化格式</u><br /><br />• 针对 MoE 与超大模型做按张量分配比特宽度，在接近 MLX 体积下优先保留 attention 与 router 精度，低比特场景下稳定性和效果更强<br /><br />• 支持 Qwen、Nemotron、MiniMax、DeepSeek 等架构，部分模型可在 16 GB 或 64 GB Mac 上运行，甚至实现 397B 级模型在 128 GB Mac 上推理<br /><br />• 原生兼容 MLX 生态，提供推理模式、VLM 支持、bfloat16 自动检测和开发者集成方案，适合在 Apple Silicon 上部署高压缩本地模型<br /><br /><a href="https://github.com/jjang-ai/jangq" target="_blank">https://github.com/jjang-ai/jangq</a><br /><br /><a href="/search/%23AppleSilicon">#AppleSilicon</a> <a href="/search/%23MLX">#MLX</a> <a href="/search/%23%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96">#模型量化</a> <a href="/search/%23%E6%B7%B7%E5%90%88%E7%B2%BE%E5%BA%A6%E9%87%8F%E5%8C%96">#混合精度量化</a> <a href="/search/%23%E6%9C%AC%E5%9C%B0%E5%A4%A7%E6%A8%A1%E5%9E%8B">#本地大模型</a> <a href="/search/%23MoE">#MoE</a> <a href="/search/%23%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96">#推理优化</a> <a href="/search/%23Mac">#Mac</a> <a href="/search/%23AI">#AI</a> <a href="/search/%23GitHub">#GitHub</a><a href="https://github.com/jjang-ai/jangq" target="_blank"> <div>GitHub</div> <div>GitHub - jjang-ai/jangq: JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for…</div> <div>JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantization + Runtime for Apple Silicon - jjang-ai/jangq</div> </a>