【新智元导读】 谷歌团队发现了全新Scaling Law!新方法DiLoCo被证明更好、更快、更强,可在多个数据中心训练越来越大的LLM。 更稳健(Harder) :在不同模型规模下,DiLoCo的超参数依然保持稳定且可预测。
摘要:Google AI主导了一场逆袭作者丨鲸哥对于Google来说,作为Transformer等核心技术的发明者,在“AI ...