边缘人工智能正在开始变革工业物联网

大量无线传感器和日益增多的多模态传感器正被应用于工业物联网（IIoT），为显著提高效率、增加产量和减少停机时间奠定了基础。

有线工业物联网（IIoT）设备，如智能电表和断路器、工业网络网关以及环境传感器，已在工厂环境中得到广泛应用。这些设备在设计时便考虑了冗余性，并采用加固材料制造，以抵御恶劣条件，如暴露于高温、低温、潮湿、气体、油污、发电、建筑、运输甚至辐射等环境。这些传感器能够读取环境信息，并在出现异常时发出警报。

无线和多模态传感器将这些能力提升到了更高的水平。推动人工智能赋能工业物联网（IIoT）的关键因素是工业4.0的概念，它涉及整个制造过程中的数字化、互联互通和分析。

“传统上，我们看到该领域有像德州仪器（TI）和恩智浦（NXP）这样的客户，如果你看看他们的10-K报告，就会发现大约40%的收入来自工业领域，”Imagination Technologies产品管理总监帕拉维·夏尔马（Pallavi Sharma）说。“但其中很大一部分是由模拟驱动的。我们现在看到用例正在发生变化，从预测性维护开始，或者在异常检测等领域构建人工智能。在边缘计算方面，需要使其更加智能化，并融入更多的人工智能，因此我们看到了向工业4.0的转变。”

在处理人工智能（AI）方面，工厂自动化系统与嵌入工业物联网（IoT）的边缘AI之间存在显著差异。“在工厂自动化中，情况正在发生变化，因为现在有很多虚拟私有云可供使用，”西门子嵌入式开发自动化（EDA）产品负责人萨蒂什库马尔·巴拉苏布拉马尼安（Sathishkumar Balasubramanian）说。“你可以连接边缘设备并在其上进行一些处理，但它们会将大部分繁重的工作负载带回云端，以便由其他人处理并发送回。自动化正变得越来越集中，更多地依赖于云端，而这一趋势在人工智能出现之前就已经存在。”

借助边缘人工智能（AI）和工业物联网（IIoT），工程师们正直接在硬件设备中构建智能。“假设我正在工厂的熔炉或锅炉中操作，”巴拉苏布拉马尼安说。“你发现有些东西出了问题或者需要改变。我们可以很容易地实现自动化。如果看起来钙沉积物在增加，或者温度在升高，你就去改变它。这种智能需要内置。这就是为什么我们称之为边缘智能和基于边缘的智能。他们过去在数据中心做的多数事情现在都需要在边缘完成，因为它们需要实时处理，而且需要在其他所有东西都崩溃时运行。”

使问题更加复杂的是混合信号设计加上机器学习这样的组合，这意味着需要在深度传感器边缘进行多层次处理。“我们谈论的是智能感知，”Synaptics首席战略官萨蒂什·加内桑（Satish Ganesan）说。“我们谈论的是在所有其他设备都处于休眠状态且功耗极低的情况下，以尽可能低的功耗运行某些算法。然后你进入下一个层次，即本地人工智能处理器。在100毫瓦的功耗下，你可以运行2.7亿个参数。对于企业或工业环境中的洗衣机、烘干机或暖通空调系统，或者生产线上的协作机器人，你需要一个特定于工作负载的模型，以便在调试或诊断出现问题时提供帮助，因为你在内部特定点进行处理。”

图1：人工智能（AI）和大型语言模型（LLMs）正从云端转移到物联网（IoT），而工业领域则处于这一谱系的中间位置。来源：Synaptics

在稳健性、可靠性和安全性方面，工业物联网（IIoT）处于消费者和汽车需求谱系的中间位置。新思科技（Synopsys）移动、汽车和消费者知识产权产品管理执行总监赫兹·萨尔（Hezi Saar）表示：“设计周期与汽车行业相似。但由于应用领域的广泛分布，包括工业自动化、楼宇自动化、能源、照明、医疗、安全、娱乐以及军事/航空，技术的采用速度较慢。”

图2：将人工智能功能集成到物联网设备中的架构（AIoT）。来源：Synopsys

边缘人工智能（Edge AI）使设备能够成为智能、自主的决策者，从而简化了大规模物联网（IoT）的需求。“在设备本地或边缘处理数据，直接提高了物联网应用的运行效率和安全性，尤其是在具有挑战性、偏远或关键任务的环境中，”萨尔（Saar）说。“然而，这也会带来与硬件限制和系统维护相关的挑战，如果管理不当，可能会使难度加大。虽然利大于弊，但许多工业自动化相当分散，根据电气化程度，大规模部署人工智能技术可能需要时间。”

工业领域面临的最大挑战在于其变革的敏捷性和速度。“人们希望实现更多自动化，这正在推动多层面的变革，”专门从事工业嵌入式计算业务的Toradex公司首席执行官塞缪尔·英格鲁斯表示。“回顾10年前，工业产品一经出货便被遗忘。他们设计产品，对其进行认证。这是一个非常漫长的过程——三到五年的开发、验证、确认，然后开始出货产品，却再也不碰或更新软件。然而，如今，像《欧盟网络韧性法案》这样的政府法规要求设备制造商在发现已知漏洞后两周内更新其设备。这个历史上一直非常稳定、发展缓慢的市场发生了很多变化，现在要求它变得更加敏捷和动态。”

机器人工业物联网（IIoT）与仿真

工业物联网（Industrial IoT）与机器人物联网（IoRT）之间的界限正变得模糊，机器人物联网包括自动导引车（AGV）、自主移动机器人（AMR）、轮式机器人、协作机器人（co-bot），甚至最终还包括人形机器人。这正是认知边缘人工智能（cognitive edge AI）大放异彩之处。

“多模态传感器融合与边缘人工智能的融合，正推动机器人技术和自动化超越固定、预先编程的任务，向真正具有认知能力和高度适应性的系统发展，”新思科技（Synopsys）的萨尔（Saar）表示。“下一个重要趋势是从自动化向自主化的转变，例如认知协作机器人系统，实现真正的人机协作。当前一代的协作机器人受限于速度和接近传感器，多模态边缘人工智能能够更深入地理解人类合作伙伴，实现智能任务交接和情境安全。”

未来的机器人将实时融合视觉（读取肢体语言和姿势）、声音（检测到突然的口头警告或异常的机器声音）以及力/扭矩数据。“机器人能够解读人类工作者的意图——比如伸手去拿某个特定部件——并自动调整其速度、轨迹，甚至提前准备好下一个工具，而不仅仅是在人类进入安全区时停止工作，”萨尔（Saar）说，“这极大地提高了工作流程的效率，也增强了人类工作者的心理舒适度。”

工业传感器和边缘人工智能（AI）相结合，能够看、听、检测并处理环境信息。机器人技术也需要触觉传感器。

“无论是汽车、工业还是消费领域，你都会希望利用混合信号功能来感知真实世界正在发生的事情，”Synaptics公司的加内桑（Ganesan）说道，“在机器人手臂、人形机器人或工业自动化中的协作机器人等其他任何设备中，你想做什么？你必须了解你正在拾取的是什么材料。它是软的还是硬的？需要怎样的灵巧性？这就是人手的工作方式。混合信号设计是我们关注的重点，我们加入了机器学习的元素。它不像边缘人工智能那样运行每秒万亿次浮点运算（teraflops）。它是每秒百万亿次浮点运算（megaflops）和每秒十亿亿次浮点运算（gigaflops），使用非常小的内存进行机器学习，通过非常小的处理来在边缘运行一些算法。”

让更多机器人自由地在工厂中工作，一个至关重要的要求是高效的模拟。“例如，雷达模拟工具可以在GPU上运行，并模拟工厂车间里的小型轮式机器人之一，这种机器人四处走动，从货架上取下物品，”新思科技旗下Ansys的产品管理总监马特•康门斯表示，“它可以生成合成数据来帮助训练人工智能——比如，训练机器人理解它在看到反射时所看到的东西。”

当雷达信号传到中央处理器或车载人工智能（AI）系统时，它们会遇到传感器融合的问题。“在模拟层面，这几乎都是软件层面的，”科曼斯说。“他们确实对摄像头和雷达进行了交叉训练。人工智能应该能够从有限的数据集中推断出它们可能会遇到的情况。我们并没有使用这项技术进行合成孔径雷达的模拟。我们只是发射信号并接收回波信号。这其中存在一些相位偏移。它被转化为看起来像乱码的智商数据。但是，如果你通过人工智能对它进行足够的处理，它就能开始推断出一些模式。”

模拟也有助于制定有效的测试计划。是德科技（Keysight）表示：“设计工程师必须首先设想并预测设备运行时的最恶劣条件。”随后，设计工程师必须对设备内的各个组件以及成品进行测试，以充分探索这些条件

图3：工业物联网（IIoT）需要低能耗、低维护、高性能的设备，这些设备需能在复杂环境中实时运行。来源：Keysight

数字孪生也是关键。“如果我能建造一座工厂，我就需要能够模拟工厂的电子电路或控制单元的行为，”西门子的巴拉苏布拉马尼安说。“当我们谈论数字孪生时，我们真正关注的是在建造工厂甚至汽车之前，就实现整个工厂的数字化。”

物联网的边缘语言模型

除了边缘人工智能/机器学习（AI/ML）能力外，工业物联网（IIoT）还将越来越多地与特定领域的语言模型相连接。“我们可以为汽车制造厂创建一个基础模型，它可能并不庞大，但仍需要处理能力来运行，”巴拉苏布拉马尼安指出。“如果你去工厂的工业物联网设备终端，询问某个特定系统的运行情况，它应该能够在边缘直接运行诊断并给出结果。这些事情需要一些处理能力。这也是边缘发生的一些转变。”

具体而言，一些边缘设备将连接至多个小型语言模型——英飞凌称之为边缘语言模型（ELMs）——以满足不同需求，从而避免在云上遇到无法回答的问题时回溯到更大的模型。“MCU上运行的不仅仅是一个语言模型，”英飞凌物联网、计算和无线业务部门高级副总裁史蒂夫·塔特奥西安（Steve Tateosian）表示。“那里有一组模型。有一个权重词检测模型在低功耗域中运行，所以我们谈论的是电池供电设备中的永久在线音频，它将持续数周，而不是几个小时。”

以前，边缘设备上有专门的模型，例如一个用于语音，另一个用于音频。这些边缘机器学习（ML）的专用方法正在被支持多种不同输入或上下文的整合模型所取代。“这就要求硬件方面做出改变，以不同的方式做事，”塔特奥西安说。“那么，在边缘设备上提供这种性能或那些结果时，软件栈就需要我们给予不同的关注。”

由于元素语言模型（ELMs）的创建方式和模型的重点，其生成的答案比大型语言模型（LLM）生成的答案更准确。“你不用担心模型会产生幻觉，或者输出错误的东西，”他说。随着时间的推移，这些模型将变得越来越灵敏。“我可以识别用户的语音输入。未来我还可以接收视觉输入，或者环境音频源。你可以想象所有可能进入这些系统的不同类型的数据，然后它可以分析这些数据并为你提供建议。”

图4：配备边缘人工智能处理的机器人头部。来源：Semiconductor Engineering/Infineon

物联网设备中使用的处理器

物联网设备通常结合使用微控制器（MCU）和神经处理单元（NPU）来处理边缘人工智能（AI）和大型语言模型（LLM），但随着人工智能变得越来越重要，图形处理器（GPU）的地位也日益提升。原始设备制造商（OEM）还可能会加入专门用于特定任务的加速器，例如视觉加速器，用于处理工厂自动化装配线上的缺陷检测。

“他们仍然需要非常强大的计算机视觉加速器，但当涉及到运行人工智能算法的其他方面，或增强任何功能或特性时，他们目前无法考虑到所有情况，”Imagination的夏尔马（Sharma）说。“两到三年内可能会出现更新的事物。内置强大的GPU可以保护他们免受其影响。他们可以使用相同的系统级芯片（SoC），并运行大量这些通用算法。”

无线工业物联网（IIoT）的兴起

虽然自主移动机器人正在推动更多无线设备的趋势，但固定式工业物联网（IIoT）设备可能既有用于供电的有线连接，也有用于软件更新和数据传输的无线连接。

“如果你必须升级那些远程传感器中的软件，而且升级的是同一款软件，那么逐一升级每个传感器将是一个非常耗时的过程，”Synaptics低功耗边缘人工智能高级产品经理阿南达·罗伊（Ananda Roy）说道。“你可以直接将升级包发送到集线器，然后因为集线器与所有这些设备都无线连接，所以你可以一次性升级周围的所有设备。”

设备可以在本地处理数据，然后将结果发送至中央处理中心。“这就是你将来自不同传感器的所有数据整合到一个设备中，以便从中读取信息的过程，”罗伊说道。“使用有线设备时，你必须从各处引入电线，这非常昂贵。由于不能让电线断开，你必须在墙上钻孔。工厂车间里的设备可能仍然是有线的，但这个中心肯定是无线的，然后你可以通过无线连接，非常轻松地将数据从中心导出到云端。”

在工业应用中使用无线技术面临的关键挑战之一是延迟。“通常，如果你通过无线方式传输数据，并且由于环境嘈杂导致数据包丢失，就会产生延迟，”罗伊（Roy）说。“大多数工业应用对延迟非常敏感，但Wi-Fi 7可以解决这个问题，它将延迟降低到10毫秒以下。我们的机器人合作伙伴Grinn研发了一款机器人手臂，你可以完全通过平板电脑上的Wi-Fi进行控制。机器人应用必须具备低延迟特性。你不能按下按钮后，还要等几秒钟机器人才能做出反应。”

Grinn还在机械手上安装了Synaptics触摸控制器，以实现对手指不同区域压力的真实检测。“我们可以制造不同类型的传感器，”Grinn首席执行官罗伯特·奥特雷巴说。“根据最终应用的复杂程度，我们可以安装更多或更少的感应点。这样，我们不仅拥有控制功能，还能获得持续的反馈。因此，同一机械手可以与硬质或软质部件配合使用，而不会损坏它们。”

此外，移动机器人系统需要能够相互通信，这很可能通过超宽带（UWB）无线技术来实现，该技术使用短距离无线电波，发送2纳秒的脉冲以提供精确的位置和距离测量。该技术已在仓库或医院用于大型工具的资产跟踪，或用于跟踪容易丢失的小型昂贵设备。它还支持机器人之间的定位跟踪以及人与机器人的定位跟踪，从而使它们能够更紧密地协同工作。

“它会在锚点之间进行测距，”英飞凌物联网与传感器解决方案集团应用营销高级经理施维塔·巴格奇（Schweta Bagchi）说道。“例如，如果我戴着腕带在行走，即使我没有注意，机器人也会在我靠近时停下来。它确切地知道附近有人。”

英飞凌的超宽带（UWB）技术基于22纳米工艺，精度可达厘米级。“在仓库中，如果你有一辆自动引导车，你可以使用很多技术，比如激光雷达，但每辆车都会有盲区，”巴格奇说。“超宽带可以让两台设备之间进行通信，这样两台机器人就可以相互交流。安全是其中的一个方面。第二个方面是，当它们相互交流时，它们也能理解，‘我有X的工作量。我可以承担更多。我应该去找你吗？’”

这种机器人之间的通信可能背后有机器学习（ML）的支持，基于特定逻辑进行简单的数据通信，或者它也可能是一个大型语言模型（LLM）。巴格奇（Bagchi）说：“当我们与人类生活打交道时，我们期望他们能进行更自然的对话。”。

图5：一种可轻松部署在工厂车间用于搬运货物的移动机器人。来源：Infineon

无线技术不再仅仅是一条将数据从A点传输到B点的通道。“你可以做更多的事情，比如Wi-Fi感知、使用蓝牙进行信道探测，这是一种测距技术，因此需要额外的测距设备，如接近探测器、PIR传感器或雷达，”罗伊说道。“你可以利用设备中已有的Wi-Fi来更多地了解你所处的环境。”

设计师们还可以发挥创造力，在不插电或无需依赖电池的情况下产生更多电力。“一旦你的功耗达到非常非常低的水平，你就可以开始利用环境中的杂散能量为芯片供电，”Ansys公司产品营销总监马克·斯维宁（Marc Swinnen）说。“如果你被卡在某个支架上，而机器正在滚动和移动，就会产生持续的振动。你可以利用这种振动，甚至只是利用压力或温差，来给电池充电或保持电池电量充足。”

结论

由于边缘人工智能和机器学习、多模态传感器以及机器人技术的最新发展，工业物联网正在迅速变革，在现代工厂车间构建了一个认知、移动且无线的设备网络。

“工业传感器过去相当初级，比如‘我达到了临界温度，我需要关机’，”Imagination公司的夏尔马（Sharma）说，“那是一种看到某物并做出决定的简单形式。现在则要精细得多。它可以查看热传感器，可以从声音传感器获取数据，并可以将这些数据关联起来以做出某些决定。人工智能模型正在边缘为这些特定的工业应用进行训练。而我们只是刚刚触及表面。”

文章来源：Semiconductor Engineering   作者：Liz Allan