边缘AI哪家强？芯片竞逐，平台为王！

边缘计算的快速发展使得计算能力快速向边缘迁移，AI也逐步从中心节点向更贴近数据源和业务现场的边缘侧拓展，边缘与云的关系已经呈现出既有分工又彼此合作的局面。在边缘侧，边缘智能与边缘计算和人工智能相结合，能有效地执行实时、小数据的处理，开展AI模型的推理，并将结果回传至云端，这种云—边—端协同的边缘智能架构，解决了目前AI应用中存在的海量数据处理、实时响应以及数据安全等问题，为AI在更多行业的应用奠定了基础。

1、边缘智能：拓展AI新边界

IDC预测，到2025年，将有414亿台物联网设备，期间将产生73147EB数据，其中约四分之一是实时生成的。要想完全在云端对这些数据进行处理和AI分析，很可能超过系统和通信链路的处理极限，再加上网络带宽、数据安全等限制，要实现AI向多行业的渗透，还存在着诸多挑战。
随着人工智能向边缘侧的转移，AI行业应用得到了极大扩展。根据德勤的分析，现在的AI计算已经在制造业、政府、零售、电信、医疗等不同应用场景下获得应用。很显然，边缘智能在拓展AI边界过程中发挥了重要作用，它能显著提升AI针对现场多样化业务场景的适应性，从而更好地支撑业务运营，为客户创造更多的价值。

制造业是国民经济的基础性产业，同时也是推动智能化发展最迫切的行业之一。根据IDC的预测，未来几年，边缘智能支出在生产过程智能化、智能供应链与物流、数据安全与合规等应用场景将保持20%以上的年均复合增长率。以产品质检为例，它是工业制造中不可或缺的环节。传统的产品质检主要依靠人工目视检测，或者采用传统的基于模式匹配技术的机器视觉，这些做法很难满足复杂场景、复杂外观缺陷的检测需求，漏检、误检率高。采用智能边缘AI技术后，不仅显著提升了机器视觉检测能力和适用性，产品质量也能得到了有效控制。

在智慧城市建设中，AI应用已经渗透到城市管理、交通、民生等诸多方面。随着智慧城市向精细化和社区化下沉，边缘智能在智慧交通、应急响应、城市安全等场景下的应用日渐增多。IDC的预测是，在未来几年，边缘智能支出在城市运维管理场景这一市场将保持25%的增速。

5G支持的人工智能和创新应用对网络延迟有很高的要求，边缘智能在此过程中将发挥重要作用。比如电信运营商通过建设具备GPU的MEC边缘数据中心，就可以为行业用户提供边缘计算服务，降低企业自建边缘计算中心的成本。

对许多应用而言，边缘端显然是进行机器学习处理的理想位置，在医疗健康与生命科学行业更是展示出良好的应用效果。在过去的一年中，新冠肺炎疫情在全球蔓延，对现有的医疗保健系统造成巨大冲击。如果将边缘智能应用到医学影像辅助诊断中，可大幅提高辅助诊断的技术水平和工作效率。最新发布的阿里达摩院2021十大科技趋势预测中指出，新型AI算法的迭代及算力突破将解决药物分子靶点确证、药物可成药性等难题，例如在疫苗的研发过程中，借助AI，可快速找到疫苗的优质候选化合物。

根据IDC的预测，到2024年，制造业、政府、零售、电信、医疗五大行业在边缘智能应用上的支出将达到159亿美金，占整体边缘智能市场支出的49%。在上述这些重点领域，敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护已经成为核心需求，边缘智能将是实现行业数字化转型的关键。随着边缘智能技术和解决方案的不断完善，在汽车、消费电子、服装、钢铁、化工等信息化基础良好的行业，AI场景化应用也将逐步落地。

2、边缘AI平台：芯片厂商的竞争焦点

市场分析数据显示，2020年将有超过500亿的终端和设备联网，其中超过50%的数据需要在网络边缘侧分析、处理和存储。IDC预计，到2024年，全球企业在边缘应用上的支出有望达到2500亿美元，其中与AI技术相关的支出将达到326亿美元，占整体边缘市场支出的13%。

作为边缘智能的灵魂，边缘AI芯片有着重要地位，边缘设备只有通过AI芯片获得了自主计算的能力，才能称之为真正的边缘智能。

现在的AI芯片主要有两种，即云端AI芯片和边缘AI芯片。如果按照功能划分，又可分为训练芯片和推断芯片。市场上的边缘AI芯片很多是边缘推断芯片。虽然边缘AI芯片市场兴起时间不长，但参与者众多，其中包括NVIDIA、Intel、NXP、Xilinx、STMicroelectronics、Maxim Integrated等跨国企业，也有以寒武纪为代表的国内企业。

在推出芯片这一硬件产品的基础上，各厂商也在努力将软件开发工具、合作生态资源与其整合在一起，着力打造完整的边缘AI平台，加速相关应用的开发落地，这也成为了置身其中的各个芯片厂商的竞争焦点。我们不妨来看一下目前市场上比较有代表性的一些边缘AI平台。

01）NVIDIA EGX边缘AI平台

NVIDIA（英伟达）是全球GPU的龙头，在AI训练市场拥有强大的领先优势。面向边缘计算市场，英伟达有两款性能出众的EGX边缘AI平台产品：一款是用于较大型商业通用服务器的EGX A100聚合加速器，另一款是用于微型边缘服务器的微型EGX Jetson Xavier NX。这两款产品均拥有安全、高性能的AI处理能力。搭载了EGX A100的服务器可以管理机场中的数百台摄像头，而EGX Jetson Xavier NX则可用于管理便利店中的少量摄像头。

EGX A100是首个基于NVIDIA Ampere架构的边缘AI产品。它结合了NVIDIA Ampere架构所具有的突破性计算性能以及NVIDIA Mellanox ConnectX-6 Dx SmartNIC所具备的网络加速和关键性安全功能，能将标准型和专用型的边缘服务器转变为极具安全性的云原生AI超级计算机。其中，NVIDIA Ampere架构是NVIDIA的第8代GPU架构，为在边缘运行AI推理和5G应用等各类计算密集型工作负载提供了卓越的性能。

在开发环境上，借助NVIDIA提供的经过完整优化的跨EGX边缘AI平台云原生软件，EGX边缘AI平台的云原生架构使其可以运行容器化的软件，以支持一系列GPU加速的工作负载。其应用框架包括用于医疗领域的Clara、电信领域的Aerial、对话式AI领域的Jarvis、机器人技术领域的Isaac，以及用于零售、智慧城市、交通等领域的Metropolis。这些应用既能组合使用也可以单独使用。

在生态系统建设上，NVIDIA为EXG建立了庞大的合作伙伴生态系统，他们中有的是边缘服务器制造商，有的是混合云平台企业，比如Atos、Dell、富士通、GIGABYTE、HPE、IBM、浪潮、联想、Cisco等都是NVIDA生态系统上的重要一员。

02）NXP EdgeVerse平台

于NXP（恩智浦）而言，他们的边缘处理应用主要分三类：第一类是主要支持5G本地网络及数据集成的网络边缘应用；第二类是工业边缘应用，包括工厂自动化、基础设施、交通运输、医疗等；第三类是物联网边缘应用，包括智能家居、消费和可穿戴等。
NXP的EdgeVerse平台是一个功能全面的边缘计算和安全平台，它通过广泛的可扩展嵌入式处理产品组合，将实现高性能和高能效计算的构建模块聚合在一起，为工业、物联网和汽车等众多边缘应用提供强劲动力。

EdgeVerse平台包含NXP出色的可扩展嵌入式处理、安全、软件、行业解决方案等，非常适合物联网、工业和汽车市场等边缘应用。具体涉及的产品包括NXP i.MX嵌入式处理产品组合和Layerscape应用处理器、K32、LPC和Kinetis微控制器、i.MX RT跨界处理器，以及车用微控制器和处理器等。

为了支持IIoT的机器学习能力，NXP在不久前推出了集成专用NPU的i.MX系列产品——i.MX 8M Plus应用处理器。该处理器拥有2.3TOPS算力，内置最高2GHz的四核Arm Cortex-A53内核、800MHz Cortex-M7实时处理器，另有800MHz音频DSP用于语音和自然语言处理，还有双摄像头图像信号处理器（ISP）和3D GPU。i.MX 8M Plus还是一款集成了专用神经处理单元（NPU）的i.MX系列产品，通过Cortex-A53内核和NPU的结合，显著增强了边缘设备的学习和推断能力，可在工业和IoT边缘进行高级机器学习推理。

EdgeVerse平台还拥有一套严格的加密系统。EdgeLock安全产品组合就是EdgeVerse平台的组成部分，它能为安全标准非常高的器件提供高水平的安全认证和服务。

在开发环境上，NXP推出的EdgeVerse平台，通过提供工具和引擎，推动机器学习和推理，轻松实现云连接，激发和简化边缘人工智能。EdgeVerse平台包含NXP的eIQ机器学习软件开发环境、Immersiv3D音频体验套件和EdgeScale设备管理平台，开发者可配合现有模型使用，或者快速设计、培训学习和优化新模型。

在生态系统建设上，NXP已经与知名的云软件和服务提供商、原始设备制造商以及ODM建立了密切的合作，比如Microsoft Azure、Accton、AWS、Scalys、Delta等均为NXP的生态合作伙伴，支持其推出的一系列工业、零售和运营商应用的边缘计算解决方案。

03）Xilinx ACAP平台

ACAP平台是Xilinx（赛灵思）在2018年推出的新一代计算平台。根据Xilinx的介绍，ACAP并不是FPGA，而是整合了硬件可编程逻辑单元、软件可编程处理器以及软件可编程加速引擎的计算平台产品。基于ACAP架构的首款产品名为Versal，主要面向人工智能推理市场。

Versal基于TSMC（台积电）7nm工艺，结合了软件可编程性和针对特定领域的硬件加速，具有高度的适应性。Velsal包括六款器件，采用独特的架构，它继承了CPU、GPU和可用于数据中心加速的FPGA，实现了可满足包括云、网络、边缘计算、无线通信和终端节点等各种应用市场需求的AI推理性能。Xilinx甚至将Versal称为SoC界的瑞士军刀。

与此前在市场上叱诧风云的Xilinx Zynq Ultrascale ＋ MPSoC相比，Versal缩减了中央FPGA模块的尺寸，为额外的DSP、ARM内核、推理组件和I/O模块腾出了足够的空间。按照Xilinx自己的说法，Versal芯片的能效可以达到英伟达GPU的4倍，推理性能是英伟达的2－8倍。

在开发环境上，Vitis是Xilinx历时5年、投入总计1000个人工年打造的一款统一软件平台，可实现在Xilinx异构平台，包括FPGA、SoC和Versal ACAP上开发嵌入式软件和加速应用，为边缘、云和混合计算应用加速提供统一编程模型。正是基于上述的这些性能优势，Xilinx自信地将Vitis称作是具有里程碑式意义的产品。

Vitis是一款从云到端、从软件到AI都提供了综合全面的库和模型的统一软件平台。其中，AI科学家可以利用Vitis AI高层次框架训练自己的模型。Vitis AI支持自适应实时AI推断加速，其底层是业界主流的框架，包括TensorFlow、Caffe、PyTorch，此外还包括37个开源的模型，这些模型主要针对诸如智慧城市、智能驾驶、实施目标分析跟踪等市场主流应用，开发者可以直接取用模型进行开发，无需了解FPGA等底层硬件。Vitis AI的开发套件包括：AI优化器（AI Optimizer）、AI量化器（AI Quantizer）、AI编译器（AI Compiler）、AI分析器（AI Profiler

在生态系统建设上，通过合作伙伴计划，Xilinx建立了完善而庞大的生态系统。所有合作伙伴可在Xilinx.com上推广企业以及经过验证的解决方案，Xilinx则为合作伙伴提供开发工具，以提升生产力和解决方案开发能力。而这些生态系统合作伙伴提供的解决方案，可帮助系统设计者快速整合Xilinx FPGA、SoC、3DIC、IP和软件定义解决方案。

从以上这些芯片厂商的系列举措中我们不难看出，提供一个软硬兼修、方案生态齐全的边缘AI平台，已经是行业实力玩家的一致选择。不夸张地讲，未来的边缘AI领域将是一个“平台为王”的时代。随着这些平台资源的不断完善，边缘AI的开发之旅也会变得更加顺畅和愉悦。现在是时候，考虑在下一个Design-In中，引入边缘AI了！