Show HN· upulbandara·· 18 天前AI 评分45
GPT-2 124M 模型从头训练：2.48B tokens，2.8小时在4个A40s上完成
Show HN: GPT-2 124M trained from scratch – 2.48B tokens, 2.8h on 4 A40s
AI 导读
研究者使用PyTorch从头训练了GPT-2 124M模型，训练数据为FineWeb-Edu，采用多GPU DDP进行训练。该模型在HellaSwag评测中取得了27.00%的acc_norm，与OpenAI GPT-2 124M的28.58%相比有所差距。
来源：Show HN · github.com