AI 前沿资讯：Qwen3.6-35B-A3B-APEX / 128K ct…

Im posting this because it may be helpful to squeeze the 12GB VRAM in the 3060. All credit goes to spiritbuuns fork ( github.com/spiritbuun/buun-llama-cpp ) and mudlers APEX quantizations ( huggingface.co/mudler ). Spiritbuuns CUDA optimizations for NVIDIA GPUs — fused MMA fix, TurboQuant, fattn improvements — are what make offloading a 17.3 GB model on a 12 GB card at these speeds possible. Mudle…

Reddit r/LocalLLaMA 作为全球顶级技术社区之一，每日汇聚来自世界各地开发者的优质内容。此条消息在社区中获得较高关注度，说明其在AI快讯领域具有一定的代表性与前沿性。

这则消息在社区引发活跃讨论，代表了AI快讯领域的重要进展方向。无论你是技术开发者、产品经理还是行业研究者，了解这类前沿动态都有助于做出更明智的技术选型和战略决策。