电子工业出版社-网上书店

本书介绍了超级计算机算力和AI算力的异同，从CPU流水线开始，描述主要的众核处理器架构和功能部件设计。在GPU和NPU等加速器部分，介绍了GPU为何能从单纯的图形任务处理器变成通用处理器。GPU在设计逻辑、存储体系、线程管理，以及面向AI的张量处理器方面成为最近几年全世界科技行业最瞩目的明星。本书对华为等厂商推出的NPU芯片设计也做了架构描述，中国也拥有独立自主知识产权的高算力芯片，并且支持多芯片、高带宽互连。本书也回顾了近20年来主流的CPU、GPU芯片架构的特点，介绍了存储与互连总线技术，即大模型专用AI超级计算机的中枢核心。

目    录

第1章  从TOP500和MLPerf看算力芯片格局	1
1.1  科学算力最前沿TOP500	1
1.1.1  TOP500的测试方式HPL	3
1.1.2  TOP500与算力芯片行业发展	5
1.2  AI算力新标准MLPerf	9
第2章  高性能CPU流水线概览	14
2.1  什么是指令	14
指令集的设计哲学	14
2.2  流水线与MIPS	17
2.2.1  经典5级流水线概述	18
2.2.2  超流水线及其挑战	21
2.3  分支预测	25
2.3.1  先进分支预测之“感知机分支预测器”	29
2.3.2  先进分支预测之“TAGE分支预测器”	31
2.4  指令缓存体系	33
2.5  译码单元	37
2.6  数据缓存	39
2.6.1  多级缓存的数据包含策略	41
2.6.2  缓存映射关系	42
2.6.3  受害者缓存	45
2.6.4  写入策略与一致性协议	47
2.7  TLB（旁路快表缓冲）	49
2.8  乱序执行引擎	52
2.8.1  指令相关的解决方案	53
2.8.2  寄存器重命名	55
2.8.3  指令提交与ROB单元	57
2.8.4  发射队列	59
2.8.5  数据旁路	65
2.9  超线程技术	66
第3章  缓存硬件结构	71
3.1  DRAM与SRAM设计取舍	71
3.2  DRAM读写过程	72
3.3  SRAM读写过程（以6T SRAM为例）	74
3.4  Intel对8T SRAM的探索	76
3.5  不同规格SRAM物理特性	78
3.6  非一致性缓存架构	79
第4章  CPU计算单元设计	82
4.1  计算单元逻辑构成	82
4.2  整数和浮点数的差异	83
4.3  算术逻辑单元	84
4.3.1  ALU加法器与减法器	85
4.3.2  ALU比较单元和位移单元	85
4.3.3  ALU乘法器与除法器	86
4.4  浮点数单元	87
4.4.1  浮点加法器与减法器	88
4.4.2  浮点乘法器与除法器	91
4.5  指令的加载和存储单元	93
4.6  单指令多数据	95
4.6.1  MMX指令集	97
4.6.2  3DNow!指令集	101
4.6.3  SSE指令集及其扩展指令集	102
4.6.4  AVX指令集及其扩展指令集	104
4.6.5  AVX-512指令集与下一代AVX10指令集	105
4.6.6  对AVX指令集的间接实施	112

4.7  矩阵加速指令集	113
4.8  ARM SVE指令集	115
第5章  逻辑拓扑结构	120
5.1  环形拓扑方式	120
5.2  Infinity Fabric拓扑方式	124
5.3  网格拓扑方式	129
5.4  片上网络（NoC）	133
5.4.1  NoC分析重点	135
5.4.2  NoC高速发展的原因	136
5.4.3  常见NoC拓扑结构及特性	136
5.4.4  拓扑结构指标参数	139
5.4.5  拓扑结构改进案例	140
5.4.6  路由器微架构设计	142
5.5  近存计算拓扑特性	144
5.5.1  IPU芯片	145
5.5.2  WSE芯片	147
5.6  单芯片UMA与NUMA	151
第6章  经典算力CPU芯片解读	155
6.1  申威处理器	155
6.1.1  SW26010单芯片设计	155
6.1.2 “神威?太湖之光”系统设计	157
6.1.3  SW26010对比CPU+协处理器方案	158
6.1.4  针对SW26010的OpenCL编译系统设计	159
6.1.5  SW26010后期迭代	161
6.2  富士通A64FX处理器	162
A64FX指令流水线设计	163
6.3  苹果M1处理器	165
6.3.1  SoC模块化设计	166
6.3.2  高性能核心流水线设计	167
6.3.3  计算单元资源	168
6.3.4  UltraFusion芯片扩展	169
6.4  Ampere处理器	171
6.4.1  Ampere Altra	171
6.4.2  AmpereOne	174
6.5  IBM POWER处理器	177
6.5.1  POWER9架构设计	179
6.5.2  POWER9拓扑技术	181
6.5.3  POWER10架构分析	183
6.5.4  POWER10拓扑技术	183
6.5.5  POWER10 SIMD单元改进与MMA加速器	186
6.6  EPYC 9004处理器	187
6.6.1  Zen微架构介绍	187
6.6.2  EPYC处理器设计	200
6.6.3  Zen4c小核心设计策略	202
6.7  Sapphire Rapids微架构Xeon处理器	205
6.7.1  EMIB封装	206
6.7.2  Golden Cove微架构	209
6.7.3  其他硬件加速单元——Intel IAA存内分析加速器	211
6.7.4  其他硬件加速单元——Intel DSA数据流加速器	212
6.7.5  Intel QAT数据保护与压缩加速技术	213
6.7.6  Intel DLB动态负载均衡器	215
6.8  Tesla Dojo超级计算机和D1处理器	217
6.8.1  D1芯片微架构	218
6.8.2  训练瓦片和存储资源	220
6.8.3  丰富的低精度数据类型	221
6.8.4  设计独特性与思考	223
第7章  从图形到计算的GPU架构演进	224
7.1  GPU图形计算发展	224
7.1.1  从三角形开始的几何阶段	224
7.1.2  光栅化衔接3D和2D世界	227
7.1.3  像素着色阶段	228
7.1.4  DirectX API推动GPU演进	229
7.2  GPGPU 指令流水线	233
7.2.1  取指阶段	234
7.2.2  译码阶段	235
7.2.3  发射阶段	238
7.2.4  执行阶段	240
7.2.5  写回阶段	242
第8章  GPGPU存储体系与线程管理	245
8.1  GPGPU多级别存储体系	245
8.1.1  大容量寄存器与倒金字塔结构	248
8.1.2  不同时代NVIDIA GPU片上存储器容量	250
8.1.3  GPGPU存储组织模式之合并访存	253
8.1.4  GPGPU存储组织模式之板块冲突	255
8.2  GPGPU线程管理	258
8.2.1  GPU线程定义	259
8.2.2  线程束宽度	261
8.2.3  线程调度和管理	265
8.2.4  线程块在线程管理中的作用	268
8.2.5  SIMT堆栈与Volta架构对线程管理的改进	270
8.2.6  Cooperative Group	275
8.2.7  Hopper架构对线程管理的改进	278
8.3  通用矩阵乘法与AI类任务	279
8.3.1  利用线程块优化矩阵计算	280
8.3.2  通过流实现任务级并行	281
8.4  VLIW指令结构在GPU中的应用历史	283
第9章  张量处理器设计	287
9.1  张量的定义	287
9.2  脉动阵列计算单元	288
9.2.1  谷歌TPU处理器	291
9.2.2  TPU v4芯片概览	293
9.2.3  自研光学芯片用于TPU节点拓扑	295
9.3  Volta架构引入张量核心	298
9.3.1  张量核心设计细节	298
9.3.2  张量核心数据加载与指令编译	303
9.3.3  矩阵乘法访存优势与数据布局	306
9.3.4  Ampere架构引入稀疏性张量加速	308
9.3.5  Hopper架构改进张量内存加速器	311
9.3.6  低精度性能增益	313
9.4  华为昇腾Ascend 910 NPU芯片	315
9.4.1  达芬奇架构AI Core分析	316
9.4.2  拓扑互连能力	319
9.4.3  CANN与AI框架MindSpore	321
第10章  经典GPU算力芯片解读	324
10.1  NVIDIA GPU芯片	324
10.1.1  G80架构	324
10.1.2  GT200架构	326
10.1.3  Fermi架构	329
10.1.4  Kepler架构	333
10.1.5  Maxwell架构	337
10.1.6  Pascal架构	338
10.1.7  Volta架构	340
10.1.8  Turing架构	343
10.1.9  Ampere架构	345
10.1.10  Hopper架构	351
10.2  AMD GPU芯片	357
10.2.1  TeraScale架构	357
10.2.2  GCN架构	364
10.2.3  RDNA架构	371
10.3  Intel Xe GPU架构	386
10.3.1  x86指令集Larrabee GPGPU	386
10.3.2  Xe-core高端核心与EU低端核心	389
10.3.3  子片和扩展结构	395
10.3.4  超大芯片Ponte Vecchio	396
第11章  存储与互连总线技术	400
11.1  从DDR到HBM	400
11.1.1  为更高带宽持续改进——GDDR	400
11.1.2  新封装方式——HBM	405
11.2  PCI Express总线概况	407
11.2.1  由需求驱动的PCIe总线发展历程	408
11.2.2  PCIe物理和数据链路层技术概览	411
11.3  CXL扩展技术	414
11.3.1  CXL的3个子协议	416
11.3.2  CXL 2.0主要特性：内存池化	417
11.3.3  CXL 3.0主要特性：内存共享、多级拓扑	418
11.3.4  CXL协议细节	419
11.3.5  CXL延迟拆解	421
11.4  NVLink互连技术与GPU超级计算机	424
11.4.1  Pascal架构第一代NVLink	424
11.4.2  Volta架构第二代NVLink	428
11.4.3  Ampere架构第三代NVLink	429
11.4.4  Hopper架构第四代NVLink	429
11.4.5  Grace Hopper超级芯片	432

推荐序
不知不觉中，我们来到一个计算机科学飞速发展的时代，手机和计算机中各类便捷的软件已经融入日常生活，在此背景下，硬件特别是算力强劲的芯片，对于软件服务起到不可替代的支撑作用。芯片的算力，在全球范围内，对于推动科技进步、经济发展及社会整体的运作具有至关重要的作用。随着信息技术的高速发展，高性能计算（HPC）和人工智能（AI）等技术在多个领域的应用变得日益广泛，芯片算力成为支持这些技术的基础。
我们在长期工作中，一直关注芯片技术的发展，因为高算力的芯片是支持服务器等专业应用领域和消费电子发展的根基，无论是手机、平板电脑，还是汽车、智能制造，各行各业都开始关注算力，对算力芯片提出更高、更密集的应用需求。
12年前，我与本书作者相识时，他向我提出一个想法：建立中关村在线高性能计算频道。该频道隶属于核心硬件事业部，聚焦算力芯片相关的产品技术分析、评测，并为企业客户提供内部参考。后来这个想法被否决了，因为投入较大、难以落地，且客户对算力的认同远不及今天这种高度。
这几年间其实我们联系甚少，但是作者一直没有脱离对芯片的应用和关注。特别是目睹GPU从消费电子转向算力芯片，目睹CPU从追求单核心性能转向追求并行度，关注并研究算力芯片，这个方向是绝对没错的。这些年作者在自己所工作的量化金融行业取得的成绩有目共睹，他作为算力芯片的用户，熟悉芯片产品布局、逻辑单元构成、微架构演变历程和特性，由他主笔这本书是非常合适的，并且这本书没有任何商业资源推动，完全依靠作者个人意志来策划和撰写。我用很快的速度阅读了全书，发现几乎大部分知识点都已经覆盖，很多细节还做了深入描述，本书尽最大努力兼顾了纸质媒体的高质量和专业网络媒体的信息更新速度。
算力芯片在最近15年有着巨大性能突破，这些年Intel的CPU芯片从双核128位SIMD到众核512位SIMD；NVIDIA的GPU产品从第一次实现顶点和像素统一的G80到现在重金难求的H100；AMD的Zen系列CPU和RDNA系列GPU两线作战；中国的高性能计算芯片逐步获得更多TOP500排名；华为Ascend 910 NPU芯片也成为AI时代的强有力竞争者；苹果、Cerebras、Ampere、特斯拉等企业的加入让这场“算力芯片战争”更加热闹。
CPU、GPU、NPU等芯片是推动科技创新的基石，算力的提升直接影响到产业的数字化转型和升级。这几年人工智能取得突破性进展的时间关口，社会对芯片算力的需求将会更加旺盛，芯片在全社会中的重要性也将进一步增强。很高兴看到这本书的问世，看到作者在自己工作之余还能坚持对另一个领域的分析和研究，希望更多社会资源和资本力量关注算力芯片的发展，希望我们的国家能够更独立自主地设计制造高性能算力芯片。
最后，欢迎大家通过公众号“硬件世界”联系作者，共同交流探讨书中内容。

上方文Q
“快科技”（原“驱动之家”）网站主编
2024年3月

前    言
随着ChatGPT等千亿级参数AI大模型的快速发展，业界对算力的需求越来越高。算力是计算机在单位时间内对整数和浮点数的计算能力。算力的提供方是高性能、高密度的CPU（中央处理器）、GPGPU（通用图形处理器）、NPU（神经网络处理器）和各类加速器芯片。本书聚焦近几年来市场上出现的高算力芯片，通过对它们进行技术架构层面的解读，向读者介绍算力芯片的发展和竞争态势。
算力芯片拥有比常规中央处理器更强大的计算能力，拥有更强的专用性，能够处理大量的数据并执行复杂的算法。算力芯片的设计焦点通常是提供高性能的数学运算能力，特别是在处理并行计算任务时。这些芯片广泛应用于各类计算环境，从超级计算机到个人计算机，再到移动设备。算力可以用于衡量个人计算机、服务器、移动设备或者整个数据中心的性能。评估一款芯片的算力涉及多个参数，包括但不限于时钟频率、核心数量、内存带宽，以及执行特定任务（如浮点计算或整数计算）时的速度，如整数TOPS算力和不同精度的浮点算力。
CPU发展了50多年，GPU也发展了将近30年。围绕着CPU和GPU所构建的软件和硬件体系已经相当成熟，面对性能瓶颈，要想增加算力，只能不断增加集群规模，AI计算成本成为不可承受之重。支撑AI的算力芯片，未来何去何从？
本书正是在这样的背景下开始写作的。本书介绍了超级计算机算力和AI算力的异同，从CPU流水线开始，描述主要的众核处理器架构和功能部件设计。在GPGPU和NPU等加速器部分，介绍了GPU为何能从单纯的图形任务处理器变成通用处理器，且聚焦在GPU设计逻辑、存储体系、线程管理，以及面向AI的张量处理器设计，同时对华为等厂商推出的NPU芯片设计也做了详细介绍。最后回顾了近20年来主流的GPU设计路线、芯片架构特点，以及目前备受关注的大模型专用AI超级计算机。
本书提供了简明的硬件逻辑知识：通过对产品的细致描述，读者可以看出传统X86架构和ARM架构在高算力市场的激烈竞争路线，还可以感受到GPGPU的蓬勃发展对于我们对常规算力的颠覆性认知。算力芯片是一个广阔的领域，本书也力求通过覆盖度尽可能高的算力技术和产品介绍，描绘出该领域的竞争格局。
本书面向的读者
?从事计算机硬件开发的读者：本书提供了丰富的硬件逻辑知识。
?芯片开发领域的从业者：读者可以了解芯片技术背后的理念、设计哲学和发展过程。
?软件开发人员：如果软件开发人员熟悉硬件架构，就可以有针对性地设计程序，让代码高效率运行。
交流沟通
笔者在工作及读书期间结识了一些优秀的IT科技媒体人，相信大部分读者对于“驱动之家”（如今的“快科技”）如雷贯耳。在征求其总编邱洪民（笔名：上方文Q）的同意之后，我们通过公众号“硬件世界”开设了联系专栏，和各位读者交流。书中内容丰富，但是难免有疏漏和不准确的技术细节描述，希望读者及时指正，也希望通过公众号“硬件世界”保持和各位读者的沟通。我期待再版时能够不断丰富内容，让本书在算力芯片领域快速变革的背景下，成为一本有生命力的“常青书”。
特别致谢
笔者曾就职于中关村在线核心硬件事业部，对于全世界备受关注的消费类电子产品，特别是围绕CPU、GPU展开的计算机核心硬件有较多了解，在后来的工作中有幸成为这些高性能算力芯片的用户。工作也是学习积累的过程，我们也经常看到优秀的媒体，比如“半导体行业观察”“快科技”“新智元”等，对他们长期以来坚持输出高质量内容表示感谢。
金融行业也是算力密集型行业，该行业需要采集大量的市场数据，每天的数据量以TB计算。在工作中，处理大量数据的过程要使用高算力的CPU和GPU，来分析数据规律、构建模型，所以笔者对高性能算力芯片微架构的设计有深刻认知。同时，笔者承担多家金融行业公司IT基础设施建设的咨询工作。
为避免打扰和阻力，近一年来笔者在完全保密的情况下撰写本书，家人和同事们完全不知此事，如今图书问世笔者也要感谢他们的支持和理解。最后特别感谢为笔者撰写序言和推荐语的几位行业领军者，你们推动了技术革新，见证了算力芯片如何颠覆和重塑我们的行业。
本书资源下载
扫描本书封底二维码，可以获取本书的参考文献和资源链接。
由于笔者水平和精力都有限，而且本书的内容较多、牵涉的技术较广，谬误和疏漏之处在所难免，很多技术点设计的细节描述得不够详尽，恳请广大技术专家和读者指正。

本书配套资源下载

对不起，暂无音视频资源！

算力芯片——高性能 CPU/GPU/NPU 微架构分析