Llama 3.3 70B在M4 Pro上的运行速度与内存需求分析

Llama 3.3 70B模型在M4 Pro上运行时，需要56GB内存，生成速度约为5.7 tokens/秒。该模型权重为42.8GB，8K tokens的上下文增加约1GB。M4 Pro Mac mini 64GB版本每月租金为197美元。