当出现新的行业流行语或短语时像我们这样写这个话题的人们所面临的挑战是弄清楚一家公司的确切含义，尤其是当该公司使用该短语满足其自身的营销目标时最新嘚一种是边缘人工智能或边缘AI。
由于物联网（IoT）的激增以及能够添加相当数量的计算能力或处理能力以在这些设备中实现智能的能力因此“边缘”可能相当宽泛，并且可能意味着“网关”到“端点”因此，我们决定确定业界在边缘与端点的定义上是否达成共识谁愿意添加边缘AI，以及可以为边缘添加多少“智能”
首先，边缘和端点之间有什么区别好吧，这取决于您的观点-云中没有的任何事物都可以萣义为边缘
定义：边缘可以是很多东西，端点实际上是端点
最清晰的定义可能来自英飞凌技术公司概念和系统工程的高级负责人沃尔夫岡·富特纳（Wolfgang
Furtner）他说：““边缘AI”一词从“边缘”本身继承了模糊性。有些人将汽车称为边缘设备而其他人则将该术语用于具有低功率无线连接的小型能量收集传感器。边缘以相对方式使用并且将局部性与中心性区分开。但是确实有必要区分您在边缘发现的各种事粅。有时您会听到诸如使用“边缘”或“叶节点”之类的术语Edge
AI可以包括很多东西，包括汽车中的计算服务器”
但是他说的关键是，“端点AI驻留在网络的虚拟世界与现实世界相撞的位置传感器和执行器都在附近。”
恩智浦半导体公司机器学习技术总监Markus
Levy说这全都与语义囿关，在哪里划定了界限边缘机器学习（ML）与“端点”机器相同，除了边缘机器学习还可以包括发生在网关甚至是雾计算环境中的机器學习端点ML通常与分布式系统有关，例如我们的客户甚至在传感器级别上都在增加智能。另一个例子是家庭自动化系统其中有“卫星”设备（例如恒温器，门铃摄像头安全摄像头或其他类型的连接设备），尽管它们可以独立执行机器学习功能但它们也可能会馈入进荇更高级ML处理的网关。”
从Arm的角度来看其基础设施业务总经理兼副总裁Chris
Bergey的说法略有不同，他评论了边缘服务器和端点中智能水平的提高他说：“诸如网桥和交换机之类的基本设备已被功能强大的边缘服务器所取代，这些边缘服务器将数据中心级的硬件添加到端点和云之間的网关中那些进入5G基站的功能强大的新型边缘服务器足够强大，可以执行复杂的AI处理-不仅包括ML推理而且还包括培训。”
这与端点AI有哬不同Bergey评论说：“由于其强大的内部硬件，智能手机长期以来一直是端点AI的沃土测试平台随着物联网与AI的进步和5G的推出相交，更多的設备上智能意味着更小的对成本敏感的设备可以变得更智能，功能更强大同时由于对云或互联网的依赖程度降低而受益于更大的隐私囷可靠性。随着向端点提供更多智能的这种发展持续不断确切地发生智能的地方的边界也将开始从端点到边缘融合在一起，从而强调了對异构计算基础架构的需求”
AI定义为在数据中心外部全部或部分实现的任何AI。情报可能就在传感器旁边例如在智能相机中，或者在更遠的地方（例如杂货店的设备间）甚至在更远的地方（例如在蜂窝基站中）。或这些的某种组合或变化”
Xilinx采取了类似的立场。该公司負责AI软件和生态系统的产品营销总监Nick Ni表示：“ Edge
AI基本上是一种自给自足的智能，可在现场部署而无需依赖数据中心。对于需要实时响应安全性（例如，不向数据中心发送机密数据）和低功耗（这是大多数设备）的应用程序而言这是至关重要的。就像人类不再依赖数据Φ心每天做出无数的决定一样在未来几年中，边缘人工智能将在半自动汽车和智能零售系统等应用程序中占据市场主导地位”
Grant重申了這一点。“就我们而言这都是边缘。客户决定它的去向我们将看到非常多的混合方法，在这种情况下云和数据中心也绝对有作用。” 他补充说：“市场[走向边缘]的速度惊人边缘已经出现了一波运动，但是对于许多应用来说硅的实现需要时间。Grant解释说：“我们正在與一家中国的流量管理公司进行交流该公司正在从云中来回移动数据。当我向他们解释我们的工作时如果交通信号灯本身可以确定汽車是否在行驶，他们便立即看到不必将数据存储到云端的好处”
Intrater表示，它们不一定区分边缘和端点因为该公司提供用于IoT边缘服务器的設备以及IoT边缘设备。“虽然我们不倾向于在自己的通信中使用'端点'一词但也许'端点'在定义上与边缘设备保持一致。这些设备中的AI通常是某种程度的本地推断通过专用的加速器，通过近内存处理或内存计算算法可以作为程序在处理器上运行。”
他补充说：“几乎所有应鼡程序中的边缘AI都已成为现实我们看到了工业和建筑实施中的巨大机会，其中AI可以通过预测性和预防性维护制造中的质量控制以及许哆其他领域来提供收益。该行业才刚刚起步并且每天过去，我们都希望AI为我们做更多的事情当我们的没有AI的旧设备无法直观地了解我們的需求时，我们常常会感到沮丧因为我们还有其他可以提供直观功能的设备。最终用户不知道如何使AI解决方案有效他们只是期望它能工作。”
现在是技术采用周期的早期-那么谁会想要呢因此，我们在定义上很清楚：要么坐在营地中说边缘就是所有不在云中的事物偠么与其他人清楚地将端点标识为物理世界与数字世界的交汇点，主要是传感器但是特定的应用程序将确定可能需要添加智能的点，边緣和端点之间的界限越来越模糊并且计算基础设施有些不同。
下一个问题是谁会想要它对边缘AI的市场期望是什么？恩智浦的Levy解释说：“这是我们所有人仍要解决的问题” “行业领导者积极参与实施；我不能说出名字，但是我们有大量的客户在边缘进行各种机器学习泹是，如果您看一下“技术采用周期”我仍然相信该行业的大多数甚至还没有处于“早期采用者阶段”，而这实际上将在2020年中后期开始顯现
“客户仍在理解机器学习可能带来的很棒的事情。但我通常会提供一些指导：1）可以省钱吗例如，通过使工厂装配线的运行速度哽快或更有效例如替换以前进行目视检查的员工人数；2）它可以赚钱吗？例如通过向产品添加一个很酷的功能使其更有用。也许这是條形码扫描仪通过使用机器学习，它可以消除包装中以前无法精确扫描的皱纹”
英飞凌的Furtner表示，这实际上是一个问题即“边缘AI的好處是什么？” 他说：“实际上关于边缘的好处是，我们可以将其在约束方面的“弱点”转变为优势人们确实关心诸如易用性，功能隱私，安全性成本，气候或资源的可持续利用之类的事情这些都是我们使用Edge
AI可以实现的所有好处。我们坚信在正确的地方使用AI可以妀善我们的生活，并且端点中有很多AI的用例Edge
AI用于预测性维护和进一步的自动化或机器人技术，家庭自动化或智能农业仅举几个例子。通过我们在低功耗支持AI的传感器上的工作，我们使直观的传感变得更加普遍从而刺激了家庭或城市中的新应用，使生活更轻松更安铨，更绿色
他还说，edge-AI提供了一种以更节省资源的方式从而以可持续的方式从物联网数据的爆炸式增长中获取价值的能力，这在气候变囮时期至关重要
Jeff Bier表示，应用程序需求将在五个关键领域推动对边缘AI的需求：
-
带宽：即使使用5G也可能没有足够的带宽将所有原始数据发送到云端。
-
延迟：许多应用程序需要比从云中获得更快的响应时间
-
经济性：即使给定的应用程序可以在带宽和延迟方面从技术上使用云，在边缘执行AI可能更经济
-
可靠性：即使给定的应用程序在带宽和延迟方面可以在技术上使用云，但与云的网络连接并不总是可靠的并苴无论是否具有此连接，应用程序都可能需要运行在这种情况下，需要边缘AI一个例子是面部识别门锁。如果网络连接断开您仍然希朢您的门锁能够正常工作。
-
隐私：即使给定的应用程序可以在带宽延迟，可靠性和经济性方面在技术上使用云也可能有许多应用程序絀于隐私原因需要本地处理。一个例子是婴儿监视器或卧室监控摄像头
边缘应该有多聪明？这取决于内存容量这似乎是一个显而易见的問题但现实是您需要务实，每个应用程序都不同
Levy说：“智能通常不是限制因素，限制是存储容量” “实际上，内存限制了可以部署嘚机器学习模型的大小尤其是在MCU域中。为了更深入一点例如基于视觉的应用程序的机器学习模型将需要更多的处理能力和更多的内存。同样当需要实时响应时，处理能力更是一个因素”
“我举一个例子，就是一个带有内置摄像头的微波炉来确定放入哪种食物-1或2秒的響应时间就足够了从而可以使用NXP i.MX
RT1050之类的东西。内存量将决定模型的大小进而决定机器可以识别的食物类别的数量。但是如果插入了無法识别的食物该怎么办？现在转到网关或云计算出它是什么然后使用该信息来允许智能边缘设备重新训练。为了直接回答有关要包含哆少“智能”的问题所有这些都归结为性能，准确性成本和能耗之间的权衡。除此之外我们还在开发一个将自动编码器用于另一种形式的ML（异常检测）的应用程序。简而言之
AI在能耗，空间和成本方面受到严重限制在这种情况下，问题不是“我们应该在边缘上放多尐智能”而是“我们在边缘上能买多少智能？” 接下来的问题将是“哪些已知的AI技术可以以足够“微小”的方式应用于边缘而被精简洇此，功耗肯定会限制端点智能的数量这些端点通常由小型电池供电，甚至取决于能量收集数据传输也消耗大量能量。”
他补充说：“让我们来一个智能传感器为了使本地AI在这些情况下正常运行，必须针对其特定的属性和行为进行优化此外，只有通过嵌入式AI才有可能实现某些新传感器例如用于液体和气体的环境传感器。端点AI有很多原因智能数据的使用和减少或快速的实时本地反应是显而易见的。数据隐私和安全性是其他可以在生成原始数据的地方处理大量传感器原始数据，而大量的计算任务仍保留在云中最低功耗神经计算嘚最新进展（例如，边缘TPU神经形态技术）使边界变得偏向边缘和端点节点。”
Technologies的Grant表示：“在我们看来将尽可能多的智能置于边缘是很奣显的，然后可以在设备的使用寿命内使用软件优化” 他将其比作游戏机行业，在该行业中供应商发布了一个新的游戏机，但随后在整个硬件寿命内对其进行了软件更新进行了优化他补充说，从成本或尺寸的角度来看将神经网络加速器添加到片上系统（SoC）并不重要。“因此加速边缘的机会确实是巨大的。”
Arm的Bergey说：“随着异构计算在整个基础架构中无处不在至关重要的是，我们能够确定对数据进荇处理最有意义的地方并且这会因应用程序而异，甚至可能会根据一天中的时间而变化市场需要能够将不同角色移交给AI的不同层的解決方案，以便获得那种推动真正业务转型的整体见解在边缘，人工智能将扮演双重角色在网络级别，它可以用于分析数据流以进行网絡预测和网络功能管理-将数据智能地分发到当时最有意义的位置无论是在云还是其他地方。”
Adesto的Intrater补充说：“在边缘放置多少“智能”的決定取决于特定的应用程序以及它可以处理多少延迟（对于实时任务关键型应用程序而言不多），功率范围是多少
（对于电池供电的設备来说很小），安全性和隐私问题以及是否有互联网连接。即使有Internet连接由于带宽消耗，您也不想将所有内容都发送到云中进行分析跨边缘和云计算的明智之举在于平衡所有这些问题。”
他继续说：“您还可以在本地边缘服务器上进行AI当然培训和分析通常在云中完荿。通常这并不是一个简单的决定AI发生位置的决定–“智能”通常是分布式的，其中一些发生在云中而某些发生在边缘设备中。典型嘚AI系统在本地完成AI和远程完成AI之间有这样的分歧Alexa /
Siri是一个很好的例子，其中设备中存在用于语音/关键字识别的算法然后从那里进行的交互在云中进行。”
有哪些支持技术“边缘AI有许多关键的使能技术。Edge
AI和视觉联盟的Bier说：“也许最明显的是高性能高能效，廉价的处理器它们善于运行AI算法。” “但是还有很多其他的其中最重要的一些是（1）软件工具，用于有效使用这些处理器以及（2）云平台，以聚匼来自边缘设备的元数据并管理边缘设备的配置和维护。”
如您所料我们与之交谈的大多数公司都为边缘AI提供了一系列设备和IP。英飞淩表示它将为物联网提供传感器，执行器包括NN（神经网络）加速器在内的微控制器以及硬件安全模块。“电源效率安全性和安全性昰我们关键能力的一部分。通过我们的产品组合我们帮助将真实世界与数字世界联系起来，为边缘提供安全强大和节能的AI解决方案。”
Xilinx的Nick Ni表示将AI边缘产品推向市场并非易事，因为工程师需要将机器学习技术与传感器融合计算机视觉和信号转换等传统算法融合在一起。“优化所有工作负载以满足端到端响应能力需要自适应的域特定体系结构（DSA），该体系结构允许在硬件和软件中进行编程Xilinx
SoC，FPGA和ACAP提供叻这样的适应性平台可以在满足端到端产品要求的同时进行持续创新。”
恩智浦表示其支持技术包括硬件和软件。Levy说：“有些客户使鼡我们的低端Kinetis或LPC MCU来实现某些智能功能在我们的i.MX RT交叉处理器级别上，它的确开始变得越来越有趣我们为集成的MCU提供了Cortex
M7，其工作频率为600-1000MHz峩们的新型RT600包括M33和HiFi4 DSP，通过使用DSP在异构模式下运行以加速神经网络的各个组件我们实现了中等性能的机器学习。最新的i.MX 8M Plus将4个A53与一个专用的鉮经处理单元（NPU）相结合可提供2.25
TOPS和2个数量级的推理性能（运行功率低于3W）。高端NPU对于实时语音识别（即NLP）手势识别，
从软件角度来看Levy表示，恩智浦提供了其eIQ机器学习软件开发环境以支持从i.MX RT到i.MX
8应用处理器等的整个恩智浦产品组合中的开源ML技术。“借助eIQ我们为客户提供了在自己选择的计算单元上部署ML的选项，包括CPUGPU，DSP或NPU您甚至还会看到运行语音应用程序（例如，DSP上的关键字检测GPU或CPU上的人脸识别，NPU仩的高性能视频应用程序）的语音应用程序的异构实现或其任意组合。”
Arm的Bergey说：“随着我们迈向一万亿个IoT设备的世界我们面临着前所未有的基础设施和架构挑战–因此，我们为应对这一巨大机遇而需要的技术也在不断发展在Arm，我们的重点是提供高度可配置可扩展的解决方案，以满足性能和功耗要求以实现无处不在的AI。”
对于边缘的AIAdesto提供了使能技术，包括具有AI加速器的ASIC用于将权重存储在用于语喑和图像识别的AI芯片中的NOR闪存以及将旧数据和新数据连接到云分析的智能边缘服务器，例如IBM Watson和Microsoft Azure。
Adesto正在使用我们的RRAM技术探索内存中AI计算其中单个存储单元既充当存储元素又充当计算资源。图片：Adesto）
Intrater补充说：“我们还在通过RRAM技术探索内存中AI计算其中单个存储单元既充当存儲元素，又充当计算资源在这种范例中，深层神经网络（DNN）的矩阵成为NVM细胞的阵列矩阵的权重成为NVM细胞的电导。点积运算是通过对将輸入电压施加到RRAM单元上而产生的电流求和来完成的由于无需在计算资源和内存之间移动权重，因此该模型可以实现电源效率和可伸缩性嘚无与伦比的组合”
我们的观点对我来说，边缘AI和端点AI之间有非常明显的区别端点是物理世界与数字世界交互的点。但是定义边的方式非常有弹性供应商的不同之处在于，将数据中心中不存在的所有内容都说成是边缘（包括网关网络边缘，汽车）还是将端点定义為边缘的子集的供应商。
最终该定义是不相关的。这取决于应用程序以及实际上可以在端点或边缘放置多少智能。在内存可用性性能需求，成本和能耗之间进行权衡这将确定可以在边缘进行多少推理和分析，需要多少神经网络加速器这是SoC的一部分，还是与CPUGPU或DSP一起使用。这并不是要忘记使用内存计算和AI等技术来解决挑战的创新方法
对此达成了广泛共识：您投入多少智能取决于应用程序，并且需偠基于可用资源的务实方法
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人不代表电子發烧友网立场。文章及其配图仅供工程师学习之用如有内容图片侵权或者其他问题，请联系本站作侵删
点击联系发帖人
