Show HN· KanishkIndia·· 28 天前精选AI 评分62
Spectra-FFT 发布：将 LLM 训练的 AdamW 显存占用降低约 50%
Show HN: Spectra-FFT – Cutting AdamW VRAM Usage by 50% for LLMs
AI 导读
Spectra-FFT 发布，作为 AdamW 的即插即用替代优化器，在频域存储优化器状态，官方称可将优化器显存占用降低约 50% 以上，用一行代码替换 AdamW(...) 即可接入现有 PyTorch 训练脚本。
推荐理由
原文给出优化器替换方式与显存占用变化，读者可据此判断受限硬件上全参微调的可行性。
来源：Show HN · spectralabs.si