清华郑纬民院士：AI for Science的出现，需要高性能计算和AI的融合，
计算能力的需求远比以前激烈。也有人高呼“不得到计算力就得不到未来”。
原宇宙，AIGC，AI for Science的出现，在高性能计算（HPC）上点燃了好几把火。
在众多挑战与机遇并存的情况下，该领域的泰斗中国工程院院士清华大学计算机科学与技术系郑纬民在MEET2023智能未来大会上分享了自己的见解和思考。
他还开玩笑说，要获得“HPC”领域的“戈登贝尔”奖，需要AI算法。你没有AI算法。不那样的话就得不到奖。
虽然是开玩笑的说法，但实际上也是流行趋势。
此外，还提到了人工智能计算机设计的三大平衡性原则、AI基准设计的四个目标、并行方法加速大规模预训练模式的方法。
关于MEET智能未来大会：MEET大会是量子比特主办的智能科技领域顶级商务峰会，致力于探讨前沿科技落地和行业应用。今年有几家主要媒体及直播平台直播MEET2023大赛，超过300万行业用户在线参与，全网总曝光量累计超过2000万。
演讲的要点今后2年到4年，预计将出现融合了HPC（高性能计算）+AI+BigData的服务器。过去HPC是机器，AI是机器，大数据处理是第三台机器，这三台机器是自己管理的，现在这三台机器融合在一起。AI标杆设计要达到四个目标：统一的一个分数，可变的问题规模，具有实际的人工智能意义，评估程序包括必要的多机通信，现在要获得HPC领域的戈登贝尔奖，需要AI算法，如果你没有AI算法我不能得奖。这是一个笑话，但实际上也是一种趋势。AI for Science的出现，使HPC+AI的融合成为刚性需求，探索更大的参数模型的效果，具有重要的科学意义，人工智能计算机和HPC中有TOP500一样，也期待着AIPerf500。（以下为郑纬民院士演讲全文）
人工智能计算机设计的三大平衡性原则今天我们来谈谈我们团队为人工智能所做的三件事。也就是说，AI和计算力基础设施的设计、评估和优化。
HPC的应用领域主要有科学与工程计算、天气预报、核聚变仿真、飞机设计。其运算精度为2精度浮点运算，为64位~128位，因此加减乘除迅速，主要是这一点不同。
人工智能计算机是半精度的，也是定点、8位、16位、32位。
我们团队最初的贡献是人工智能计算机设计的平衡性原则。
首先，计算平衡设计。人工智能是处理单精度或定点的，你这台机器是不是把定点设为单精度就可以了。但是实际上也不是这样。我们主要考虑半精度运算，但也要考虑二精度运算的能力。
这两年我有一个经验：
1、倍精度与半精度的运算性能之比为1：100。
2、人工智能计算机不仅要进行CNN，还要进行较大的模型训练。
因此，需要提出变精度平衡设计思想，从整体上增加通用计算。
第二，网络平衡设计，既然这台机器很大，由成千上万的小机器连在一起，那嚒这个网络也要做好。CNN如果只做的话会很困扰，但也必须考虑训练。这样一来，如何使网络达到平衡的设计也是非常重要的。
第三，存储，即IO子系统设计。我们知道现在每台机器都有固态硬盘，但我们如何将固态硬盘组合成一个大的分布式文件系统呢。这也很重要。
因此，提出了这三条平衡设计原则，并被许多企业采用。目前，国内20多个城市人工智能超级计算机中心陆续投入运行，计算力无处不在，触手可及，其中很多都使用了平衡设计的思路。
目前，业界有HPC+AI+BigData融合为一体的倾向。曾经HPC是机器，AI是机器，大数据处理是第三台机器，这三台机器是自己管理的，现在这三台机器融合在一起。
为什么这么说呢。
另一方面，AI for Science的出现在程序中包括AI算法。因此HPC+AI的融合成为刚性需求。
我开过玩笑的。你现在要获得HPC领域戈登贝尔奖，需要AI算法，你没有AI算法，否则就得不到奖。虽然是开玩笑的说法，但实际上也是一种趋势。
另一方面，数据处理是AI的基础，数据与AI的融合也是自然的。因此，我预计2到4年，HPC，AI和BigData融合的服务器将会出现。
这是一个小组的第一个贡献：人工智能计算机应该如何成长。
AI基准设计完成了四个目标的第二个贡献，大规模人工智能计算力基准评估程序AIPerf。
什么意思。以前有HPC评价程序Linpack，TOP500是被评价了的东西，不过，AI计算机评价不能使用。Linpack是用于测量64位，甚至128位加减乘除的速度。目前，人工智能计算机为16位、32位甚至8位，但这是完全不同的。
因此，我们需要编写一个人工智能计算力基准测试程序来回答这个问题。我想要一个简单的评估指标来判断哪个系统的人工智能计算能力强。
那你现在有合适的评估程序吗。实际上也有，但没有太合适的。
例如，DeepBench不适用于单芯片的整机评估。移动AI Bench针对的不是整个系统，而是移动端硬件上的模型培训评估。LPerf扩展性差。于是，我们决定自己做。
进行AI基准设计需要达到以下四个目标：。
1、统一分数。我希望通过运行Benchmark来给出一个值。只要值就行了。不是报告结果，看起来很辛苦。
2、可变问题规模。Benchmark可以测量由四个节点组成的机器，也可以测量1000、20000个，规模可变，制作大规模的东西也很辛苦。
3、具有实际人工智能意义。你不要乱说加减乘除。它不能反映人工智能的问题。尤其要反映人工智能问题中的神经网络运算、自然语言处理能力。
4、评估程序包括必要的多机通信，是一个大系统，因此用多机连接，需要通信。
最后，以清华大学为中心的团队测试了AIPerf，并于2020年11月15日首次发表。与人工智能计算机在HPC中有TOP500一样，期待着AIPerf500也有。
现在已经连续3年发布了每年的排行榜，得到了很多企业、企业的认可。
大规模预训练模型三种并行加速方法的第三种贡献，100万亿参数超大规模训练模型的加速方法。
简而言之，学术界至今形成一个共识：模型规模与模型效果呈正相关关系。GPT有1.1亿个参数，GPT-3有1750亿个参数，悟道2.0有1.75万亿个参数，我们制作的BaGualu有174万亿个参数，应该说参数越多效果越好，越接近人的智慧存在训练数据越多要求的计算能力也越大的问题。
从左图SAT（美国大学入学考试）的任务情况来看，如果模型参数达到100B（相当于1000亿个参数），如果模型完成SAT，就能得到70%的精度。
因此，探索更大参数模型的效果，具有重要的科学意义。
但模型越做越大，问题随之而来。目前国内很多单位型号都做得很好，但如何将型号安装在一台机器上却很讲究。
例如，在下一代神威架构芯片上安装了BaGuaru模型。
从图上看，核群有64个核，再加上黑色的主核就有65个核。一个CPU，CG0，CG1，CG2，CG3，CG4，CG5的6个用网络连接着。将其称为节点，并将其合并为一个节点。节点具有约390个核心。由256个节点组成的超级节点的内部通信通过顶级网络进行。
因此，256个节点内部的通信将立即进行。但是，超级节点之间的通信会变得相当慢。
大的模型在这台机器上运行是有问题的，Transfomer结构是一个嵌入式层，注意层，前反馈网络层，中间注意层和前反馈层都重复N次迭代。
如果一个模型能在一个CPU上运算的话就很快了，但是CPU的计算能力有限，内存也有限，所以模型没有那么大。所以大模式的培训一定要多机分布式
第一个是数据的并行化，假设在整个模型中设置了两个节点。一个节点0和另一个节点1在整个模型中并行化数据，并对每个数据进行一半培训和学习。但是，培训后不是最终结果。因此，在这期间需要ai-reduce、ai-reduce。
第二个是模型的并行化，将整个模型切成一半，变成一半的模型节点0和一半的模型节点1，训练后出现的结果也不是最终结果。只训练了一半的模特，aii-gather就出来了。
第三个专家并行要求通信，就像数据并行和模型并行一样。
如果你只有一种方法，那么你会用哪种并行方法呢？这与计算机的结构有关如果所有的计算机之间的通信都非常快速，你可以将数据并行化。如果通信缓慢，则考虑模型并行性和专家并行性
这些模型是如何与数据和机器的状况相匹配的呢
下一代神威采用了“相位感知的混合并行模型”
具体来说，节点之间的通信很快，但是超级节点之间的通信很慢。混合并行模式在通信超级节点内部采用数据并行。超级节点之间采用专家并行或模型并行。
此外，还存在内存大小、内存存取等问题：如何存取内存比较快，负载比较均衡
在进行大型模型培训时，每小时会出现一次硬件错误。目前这个水平已经足够了。所以，一般都是做检查点，如果写法不好的话，就要做3个小时，不能提高速度。最终10分钟就结束了。
我们把模型设为开源，特别是并行训练模型，我们把它引入开源系统FastMOE，百度飞桨MOE模块也使用FastMOE。
最后总结一下，一是人工智能的计算力是当前人工智能领域发展的关键。
第二个是对人工智能的三个小贡献
1、提出AI计算力基础设施的架构和平衡设计原则，目前在全国20多个城市的20多个人工智能超级计算机中心基本采用。