晓查 发自 凹非寺
量子位 | 公众号
今天，扎克伯格宣布，Meta要建造全球最快的AI超级计算机，而且就在2022年年中建成。
这台超算被命名为“AI研究超级集群”（RSC），包含16,000个英伟达A100 GPU，算力达5 （混合精度）。
而目前全球最快超算富岳在混合精度下的最高算力为2 。
Meta要这么强的超算干什么？当然是为了公司的元宇宙。
Meta工程师Kevin Lee在官方博客中说：
我们希望RSC将帮助我们构建全新的AI系统，例如可以为大量人提供实时语音翻译，每个人都可以说着不同的语言，这样他们就可以无缝协作研究项目或一起玩AR游戏。
最终，使用RSC完成的工作将为下一个主要计算平台元宇宙发挥重要作用。
要让不同语言的人在元宇宙无障碍交流，背后的自然语言处理训练需要巨大的算力。
虽然超算还未建成，但Meta已经开始了训练超大NLP和CV模型的研究，将用它来训练数万亿参数模型，其规模比现在的GPT-3还高一个数量级。
1.6万个A100核心
超算RSC的组建工作始于一年半以前。
英伟达和数据存储公司Pure 、服务器公司 是Meta超算的主要供应商。
RSC的第一阶段已经启动并运行，它由760个 DGX A100系统组成，总共包含6080个GPU。
等到完全建成时，RSC将总共拥有16,000个GPU，成为使用A100数量最多的超算。
Meta（当时还叫）的第一代AI超算设计于2017年，这台超算集群中拥有22,000个 V100 GPU，每天运行35,000个训练作业。
2020年，Meta的工程师开始利用新的GPU和网络结构技术，从头设计新一代超算的冷却、电力、网络和布线等各种系统。
相比第一代超算，RSC运行CV工作流程的速度提高了20倍，运行集体通信库（NCCL）的速度提高了9倍，训练大型NLP模型的速度提高了3倍。
现在训练一个具有数百亿参数的模型只需三周，而之前是九周。
16TB/s带宽
除了核心系统本身，Meta还打造一个强大的存储系统，可以提供16TB/s的存储带宽和EB级别的存储容量。
为了满足AI训练日益增长的带宽和容量需求，Meta从头开始开发了一种存储服务，即人工智能研究存储（）。
为了优化AI模型，利用一个新的数据准备阶段，来预处理用于训练的数据集。经过准备的数据集可用于多次训练运行。
还优化了数据传输，从而最大限度地减少了Meta数据中心间主干上的跨区域流量。
最后，在疫情和半导体芯片缺货的情况下，Meta能一次买下这么多GPU，恐怕英伟达才是最大赢家，老黄真的是赚麻了。
参考链接：
[1]
[2]
— 完 —
量子位 · 头条号签约
关注我们，第一时间获知前沿科技动态
