人工智能大热之前，Cloud或Data Center已经开始使用FPGA做各种加速了。而随着Deep Learning的爆发，这种需求越来越强劲。本文主要讨论Cloud巨头Amazon和Microsoft的FPGA策略。 在Microsoft Build 2017大会上，微软Azure云计算平台CTO Mark Russinovich做了

　　人工智能大热之前，Cloud或Data Center已经开始使用FPGA做各种加速了。而随着Deep Learning的爆发，这种需求越来越强劲。本文主要讨论Cloud巨头Amazon和Microsoft的FPGA策略。

　　在Microsoft Build 2017大会上，微软Azure云计算平台CTO Mark Russinovich做了一个名为 “Inside Microsoft's FPGA-BAsed Configurable Cloud”的演讲，介绍了Azure平台中使用FPGA的情况（大家可以点击文末的阅读原文收看视频）；另外，在Amazon的“Amazon EC2 F1 Instances”网站，有一个Webinar视频，介绍AWS的FPGA服务。本文将结合这两个讲座展开讨论，以下分别简称MS和AWS。

　　智能云对数据处理的需求

　　从需求层面来看，云端智能对数据处理有了更高的要求，体现在巨大的规模，低时延和高吞吐率几个方面。而从这几个角度来说，FPGA都有自己独特的优势。

　　AWS在云端部署FPGA所针对的应用主要包括：Real Time Video Processing，Financial Analysis， GEnomic Research， Big Data Search and Analytics， and Seurity。这里虽然没有专门提到AI和Deep Learning，但这些应用实际上也都和AI技术有关。而他们预期实现的目标如下：

　　FPGA背景知识FPGA全称是“可编辑门阵列”（Field Programmable Gate Array），其基本原理是在芯片内集成大量的数字电路基本门电路，存储器以及互连线资源，而用户可以通过对FPGA进行“编程”（烧写配置文件）来定义这些门电路的功能以及模块之间的连线。这种“编程”不是一次性的，你可以把FPGA设计成一个编解码器，只要更改配置文件，就可以变成一个CPU，这也是所谓的re-Configurable的概念。当然，FPGA在给我们提供了随意实现硬件电路的灵活性的同时，也要求设计者具有硬件设计的知识和能力。这一点和CPU，GPU的软件编程方法有很大的差别，或者说是有更高的应用门槛。

　　目前主要的FPGA芯片厂商是Xilinx和Intel（Altera），AWS主要使用Xilinx的FPGA，MS则使用Intel的FPGA。在具体看FPGA的内部结构之前，我们还是通过对比来看看它的特点。

　　其实最近这种对比很多，我之前的文章也提到过。MS把CPU，GPU，FPGA和ASIC放在Flexibility VS Efficiency的角度进行对比，这个也是我们经常使用的方法。再次强调，灵活性（通用性）一定意味着效率的损失，反之亦然。

　　另外，在MS的图中可以看出，他们认为FPGA主要还是用在Evaluation（或者我们经常说的Inference）。而有趣的是，他们认为ASIC方案在Training和Evaluation中都还是“under investigation”，好像把GOOGle的TPU给忘了。

　　AWS给出了另外一个视角的比较，CPU为了实现最大的灵活和通用，芯片中的很大一部分芯片面积用来提供控制功能（也包括复杂的存储架构，比如CAche）；而在GPU当中，用作运算的芯片面积比例大大提高，能够支持大规模的并行处理；而到了FPGA，已经没有预先定义的指令集概念，也没有确定的数据位宽。这些你都可以根据应用来自己设计。你可以设计一个只支持几条指令的处理器；也可以只设计数据通道和简单的控制逻辑，根本不用指令。

　　下图来自MS的讲座，对比了CPU和FPGA进行数据处理的特点。

　　CPU可以看作是一种时间计算模型，指令顺序进入，每条指令处理一定的数据。FPGA可以看作是空间计算模型，大量数据可以并行的进行处理。Deep Learning的处理，比如CNN的卷积运算，就是非常适合空间计算模型的例子。这一点我在之前的文章“深度神经网络的模型・硬件联合优化”中已有介绍。下面我们具体看看FPGA的内部结构。

　　FPGA内部结构FPGA中几个比较重要的基本模块包括（按照Xilinx的说法）：

　　CLB（Configurable Logic Block）：FPGA最基本的组成单元，可以实现基本的组合逻辑和时序电路。其中，LUT（Lookup Tables）是实现组合逻辑的部分，可以实现n个输入的任意组合逻辑运算（不同型号的FPGA有所不同，下图的例子中为6个输入）。而在CLB的输出位置，还有一个寄存器，提供时序电路的功能。

　　DSP Slice：是比CLB粒度更粗的运算单元，直接实现乘法，累加等功能。它比较类似与我们在DSP处理器中使用的MAC单元，如下图所示：

　　此外，一般FPGA中还提供片上Memory模块（Block RAM，UltraRAM），各种高速接口，IP和很多辅助电路。根据应用需求不同，有的型号的FPGA本身也是一个SoC，还集成了处理器核（比如ARM），甚至视频编解码等功能。

　　下表中列出的Xilinx Virtex UltraScale+ FPGA系列的具体参数。后面要介绍的AWS F1 instance用的就是VU9P。

　　在这里，我们观察CLB Flip-Flops，CLB LUT和DSP Slices的数量，以及memory的数量，基本就可以了解该FPGA的规模，也就是在这个FPGA上可以实现多大规模的数字电路。

　　在云端部署FPGA首先，作为加速功能，FPGA需要配合Host CPU来工作。比如在下图中，一个应用中有一个滤波器功能，需要大量的运算，比较合适放到FPGA来处理；而其它部分功能，主要和控制相关，则放在CPU来运行。

　　由于FPGA应用往往都需要支持很大的数据吞吐量，这对于Memory带宽和I/O互连带宽要求很高。如果数据传输的带宽受限，则FPGA提供的巨大的并行计算能力根本发挥不了作用。在云端部署FPGA的另一个重要挑战是如何把FPGA的运算能力融合到云端的大规模弹性计算架构当中。

　　下面我们就分别看看MS和AWS的FPGA部署情况。值得注意的是，目前MS的Azure中的FPGA主要还是内部使用，并没有作为一项公有的服务；而AWS则已经提供了EC2 F1 实例（instance）的FPGA服务了。

　　MS Azure CATapult V2架构我们先看看MS的Catapult V2架构，如下图：

　　在一块Catapult V2的板卡上，有一颗Altera Stratix FPGA和本地的DRAM，这块卡上有三个和外部连接的接口，一个PCIe，两个QSFP。这种架构中，FPGA和WCS Server Blade的连接非常灵活，同时也支持很大的吞吐率。FPGA可以支持对网络应用（从NIC到Switch的channel），存储应用（CPU到Switch的channel）以及运算应用（CPU和FPGA）的加速。而这种架构也具有高度的伸缩性，如下图所示。

　　连接在一起的FPGA可以构成一个独立的运算层。多个FPGA可以组合在一起实现不同的加速功能，比如Deep neural network，Web search ranking，SQL，SDN offload等等。

　　MS还提出一个HW Microservices的概念：“A hardware-only self-contained service that can be DIStributed and accessed from across the datacenter compute fabric”。使用这个Microservices有如下优势：