AI和机器学习

人工智能控制系统的演变

封面故事:人工智能(AI)可以证明是控制系统的下一次演变吗?请参阅三个AI控制器特性和三种应用。

由Kency Anderson,Winston Jenks和Prabu Parthasarathy 2021年2月17日
图片礼貌:木头

学习目标

  • 基于AI的控制器的特征包括学习,延迟满足和非传统输入数据。
  • AI控制器需要其大脑培训。
  • AI控制器的使用案例包括能源优化、质量控制和化学处理。

控制系统几十年来持续发展,人工智能(AI)技术正在帮助推进下一代的一些控制系统。

比例 - 积分衍生物(PID)控制器可以被解释为能力的分层:朝向信号的比例术语点,在设定点和衍生项上的积分术语家庭可以最小化过冲。

尽管控制系统可能呈现一个相互关联的技术的复杂网络,它也可以通过将其视为一个不断进化的家族树的分支来简化。每一种控制系统技术都有其在以前的技术中所没有的特点。例如,前馈通过预测控制器输出来改进PID控制,然后使用预测来从噪声中分离扰动误差。模型预测控制(MPC)通过分层预测未来的控制动作结果和控制多个相关的输入和输出增加了进一步的能力。控制策略的最新发展是采用人工智能技术来开发工业控制。这一领域的最新进展之一是基于强化学习的控件的应用,如图1所示。

图1:控制策略的最新演变是采用AI技术开发工业管制。在AI控制的最新进步之中是应用增强基于学习的控制。礼貌:木材,微软

图1:控制策略的最新演变是采用AI技术开发工业管制。在AI控制的最新进步之中是应用增强基于学习的控制。礼貌:木材,微软

基于人工智能的控制器的三个特点

基于AI的控制器(即,基于深度增强学习,或基于DRL的,控制器)提供独特和吸引人的特征,例如:

  1. 学习:基于DRL的控制器通过有条不紊地和不断练习来学习 - 我们所知道的机器教学。因此,这些控制器可以发现专家系统中不容易捕获的细微差别和例外,并且在使用固定增益控制器时可能难以控制。DRL发动机可以通过模拟器接触到各种过程状态。在现实世界中,许多这些国家永远不会遇到,因为AI发动机(大脑)可能会尝试操作植物太多或超越物理设施的操作限制。在这种情况下,这些游览(可能导致流程之旅)是大脑的经验,了解避免的行为。当这通常足够完成时,大脑会学会不做什么。此外,DRL引擎可以立即从许多模拟中学习。它可以从数百种仿真中学习而不是从一个植物喂养大脑数据,而是比正常实时所看到的速度快,而是提供有利于最佳学习的培训经验。
  2. 延迟满足:基于drl的控制器可以在短期内学习识别次优行为,从而实现长期收益的优化。根据西格蒙德·弗洛伊德(Sigmund Freud),甚至早在公元前300年的亚里士多德(Aristotle),人类将这种行为称为“延迟满足”(delayed gratification)。“当AI采取这种行为时,它就会超越棘手的局部极小值而获得更优的解决方案。
  3. 非传统输入数据:基于DRL的控制器管理摄入量,能够评估自动化系统不能的传感器信息。作为示例,基于AI的控制器可以考虑有关产品质量或设备状态的可视信息。在控制行动时,它还考虑了分类机器警报和警告。基于AI的控制器甚至可以使用声音信号和振动传感器输入来确定如何进行过程决策,类似于声音人类运营商受到影响。处理视觉信息的能力,例如耀斑的大小,区分和揭示基于DRL的控制器的能力。

启用基于drl的控制系统

将基于DRL的控件提供给进程设施的四个步骤:

  1. 为大脑准备一个同伴模拟模型
  2. 大脑的设计和训练
  3. 评估训练有素的大脑
  4. 部署。

同伴仿真模型

启用基于drl的控制器需要模拟或“数字孪生”环境来实践和学习如何做出决策。这种方法的优点是,大脑可以学习对系统来说是“好的”和“坏的”,以达到既定的目标。考虑到实际环境中可变性——远远超过通常代表什么——在一个过程仿真模型和所需的仿真训练大脑的状态空间操作,减少了物理模型,维持基本原则提供最好的方法训练大脑。这些模型提供了一种开发复杂过程模拟的方法,并且在运行时速度更快,这两种方法都允许更有效地开发大脑。基于标记的过程模拟器以其简单的设计、易用性和适应广泛的仿真需求的能力而闻名,这符合训练基于drl的大脑所需的仿真模型的要求。

在当今这个时代,当灯和开关的面板已经被移到舞台的后面角落时,基于标签的模拟器在使自动化工程师的工作变得不那么繁琐方面变得更加重要。在进入现场之前,使用模拟在工厂验收测试(FAT)中测试一个系统,这几十年来一直是过程模拟软件的“面包和黄油”——远在现代术语出现之前,比如“数字孪生”。同样的模拟器也可以用于培训人工智能引擎,以有效控制工业过程。为了实现这一点,模拟器需要能够以一种分布式的方式在多个cpu上运行,并且可能在“云”中运行。“需要多个模拟实例来练习、训练或评估并行执行中的潜在新AI算法。一旦实现了这一点,使用基于标签的模拟器开发的操作员训练系统可以用于训练基于drl的人工智能引擎。

大脑的设计和训练

基于目标被控制的过程设计大脑对于开发基于DRL的最佳控制解决方案是至关重要的。大脑不仅包括AI概念,还可以包括启发式,编程的逻辑和众所周知的规则。当来自主题专家(中小企业)的信息得到适当的收集时,使用该信息实现大脑的能力是项目成功的关键。

图2:基于微软盆景的控制器的独特特征是学习能力,最大化未来的奖励,考虑更多的信息,如图像和类别。礼貌:木材,微软

图2:基于微软盆景的控制器的独特特征是学习能力,最大化未来的奖励,考虑更多的信息,如图像和类别。礼貌:木材,微软

使用主题专业知识来构建有洞察力的培训场景对于开发一个基于人工智能的鲁棒控制系统至关重要。在使用模型训练DRL引擎之前,人类必须决定模型的哪些元素将作为过程状态暴露给大脑。流程状态通常是自动化系统可用的测量值的集合。水平、温度、设定值等都是典型的例子。暴露的过程状态太少将不能让大脑从足够的数据中学习。当状态太大时,内部超参数的数量可能会快速增长。这阻碍了大脑尽可能快地学习,因为它的一部分努力被浪费在找出过程状态的哪些部分是不重要的。类似的情况也发生在数据从大脑流向大脑的过程中。人类必须决定它将允许大脑操纵哪些行动,这决定了控制过程中最理想状态所需的努力。通常情况下,决定在大脑可用的行动中包括什么是比较容易决定的,因为只有那么多控制阀或其他机制可用来控制这一过程。

图3:微软盆景软件的Wood VP链接帮助用户使用基于标签的模拟器定义状态和动作空间。礼貌:木材,微软

图3:微软盆景软件的Wood VP链接帮助用户使用基于标签的模拟器定义状态和动作空间。礼貌:木材,微软

关于过程状态和动作空间大小的决定归沸到哪些状态和动作结构中的仿真标签应该包括在内。图3显示了基于标签的模拟器的示例,其中定义了状态和操作。从列表中选择标签并单击按钮可以将它们添加到大脑使用的状态或动作结构中。

定义状态和行动空间

Inkling是一种用于培训DRL代理的语言,以紧凑、富有表现力和易于理解的语法来表达培训范式。基于标签的模拟器可以通过编程自动生成定义大脑状态和动作结构的暗示代码(如图4所示)。

图4:Wood VP链接自动生成Microsoft Bonsai脑培训的Intling码。礼貌:木材,微软

图4:Wood VP链接自动生成Microsoft Bonsai脑培训的Intling码。礼貌:木材,微软

一旦确定了状态和行动结构,培训的目标需要将其定义为大脑。培训大脑的典型要求是构造,例如:目标,罚款,课程计划和情景。在该示例中,用户需要由大约40行代码,以便用户创建用于使用模拟训练AI大脑。图5中的Intling码描述了新生AI大脑的两个重要事项 - 该怎么做,以及如何做到。具体地,已经生成该代码以通过使用上游流量控制和下游块阀来控制罐中的电平。“目标”声明描述了大脑行为的预期结果,在这种情况下,实际水平应接近设定点级别。

图5:这是创建人工智能(AI)大脑所需的用户创建代码。礼貌:木材,微软

图5:这是创建人工智能(AI)大脑所需的用户创建代码。礼貌:木材,微软

选择与目标匹配的适当课程和情景是大脑设计师和中小企业之间适当合作的结果,而不会溢出坦克。“课程”和“情景”陈述告诉大脑如何了解该目标。在这种情况下,方案指示大脑以随机,但受约束的级别和设定值启动每个训练集。

编写代码来创造一个人工智能大脑

有效的大脑训练需要一个非常大的操作状态空间有待探索。云技术允许模拟器被容器化,并在大规模并行环境中运行。然而,当想要获得成功的结果时,训练大脑的测试想法需要先在本地的模拟器中运行,以“消除”缺陷。一旦用户满意,模拟器就可以被容器化并在云中运行。典型的大脑训练过程可以是30万到100万次训练迭代。图6用一个简单的坦克演示展示了大脑的训练过程。云资源可以在不到一小时的时间内训练一个需要50万个迭代的模拟器。

图6:多木VP链接坦克模型帮助微软盆景大脑训练。礼貌:木材,微软

图6:多木VP链接坦克模型帮助微软盆景大脑训练。礼貌:木材,微软

在图7中,显示了作为迭代次数的函数的脑训练的进展。“目标满意度”参数是训练集的平均水平,导致满足的目标总数。通常,人们需要目标满意度值,达到100%以实现其实践的所有场景的大脑的有效控制。

评估训练的大脑

大脑经过训练后,需要进行测试以评估其生存能力。在这一阶段,大脑与模型运行以判断其行为。然而,这次的模拟场景应该有所不同——对大脑进行测试,在最初几轮测试中可能没有遇到过的情况。

图7:显示了作为迭代次数的函数的脑训练的进展。“目标满意度”参数是训练集的平均水平,导致满足的目标总数。在大多数情况下,需要实现100%的目标满意度,以实现所有实践情景的大脑有效控制。礼貌:木材,微软

图7:显示了作为迭代次数的函数的脑训练的进展。“目标满意度”参数是训练集的平均水平,导致满足的目标总数。在大多数情况下,需要实现100%的目标满意度,以实现所有实践情景的大脑有效控制。礼貌:木材,微软

例如,如果一个值由三个阀门的组合控制,如果一个阀门现在不可用,则会发生什么?如果阀门卡住,或者用于维护,大脑可以做出合理的事情吗?这是为操作员培训师系统或控制系统测试开发的模拟器型号的位置。随着一个人可以处理控制系统测试,需要通过严格的正式测试程序来完成AI控制器。具有自动测试计划的模拟器可以显着降低评估“培训”脑的努力。

大脑的部署

一旦大脑通过了评估测试,它就可以被部署。虽然有许多部署模式,但使用用于测试控制系统的基于标记的模拟器的独特优势是,它们可以作为中间件来集成大脑和控制系统。由于各种控制系统的驱动程序种类繁多,将其集成到特定客户的站点要比使用定制的解决方案容易得多。此外,从软件维护的角度来看,最小化定制部署的数量总是值得赞赏的。

人工智能用例

基于drl的brain已经被设计为超过100个用例,并已部署到广泛的行业和垂直市场。

提出了几种用例和相应的唯一,挑战或应用,以说明基于DRL的大脑的力量。

图8:微软“盆景大脑”应用程序可以应用的问题类型包括动态的、高度可变的系统;竞争优化目标或策略;和未知的启动或系统条件,在其他显示。礼貌:木材,微软

图8:微软“盆景大脑”应用程序可以应用的问题类型包括动态的、高度可变的系统;竞争优化目标或策略;和未知的启动或系统条件,在其他显示。礼貌:木材,微软

建立HVAC能量优化

优化建筑能源使用,同时确保CO2低于法律限制的级别状态要求工程师建立冷却器工厂设定值,以最小化成本,同时保持室内温度在窄范围内。由于天环境温度变化,以及日常范围的季节变化,因此将复杂程度添加到这一点。基于DRL的控件考虑了实时天气数据(如环境温度和湿度),并使用机器学习与过去关系的模型和环境条件的模型一起提供更优化的解决方案。

与许多人可能认为的相反,人工智能建议的冷却塔和冷却器的设定值增加了,同时也增加了泵送水的速度,以实现节能的总体目标,同时保持所需的温度。随着世界转向更可持续的解决方案,基于drl的解决方案可以提供更优的能源效率,以满足企业的可持续发展目标。

微软“盆景大脑”的应用程序包括动态和高度可变的系统,竞争的优化目标或策略,未知的启动或系统条件,等等。图片礼貌:木头

微软“盆景大脑”的应用程序包括动态和高度可变的系统,竞争的优化目标或策略,未知的启动或系统条件,等等。图片礼貌:木头

食品制造质量控制

最大化产品质量和最小化非规格产品是许多制造商的共同目标。在这种情况下,需要人工操作人员的专业知识来在适当的条件下运行设备。

基于人工智能的解决方案和集成的在线视频分析,以及传统的过程输入,使大脑能够同时控制多个输出,同时尊重处理设备的限制。其结果是更快地响应工艺偏差和更少的非规格产品。

基于人工智能的控制系统的不同工业应用可能包括控制系统,模拟,以及虚拟和增强现实。图片礼貌:木头

基于人工智能的控制系统的不同工业应用可能包括控制系统,模拟,以及虚拟和增强现实。图片礼貌:木头

化学加工控制

聚合物生产需要对反应器的设定值进行严密控制。聚合物生产中的典型挑战包括瞬态控制,特别是在聚合物从一种等级转换到另一种等级时,非常规生产的可能性很高。这里的挑战还在于优化控制和交付一致的结果。控制变量的数量很大,很多时候在控制过程中使用人类经验,由于这是一种学习技能,结果结果的可变性由于操作员经验的可变性和涉及的主观性。部署一个经过训练的大脑,它已经探索了与瞬态作业相关的所有状态空间,并融合了最有经验、表现最好的操作员的智慧,可以为操作员提供更快、更一致的操作建议,并将非规格产品的数量降至最低。

上面的用例展示了一些应用程序,但AI技术的使用可以扩展到任何可以使用模拟建模的复杂问题。图8显示了可以应用该技术的问题类型。以下列出的其他行业问题包括:

  • 上游石油和天然气部门的气体提升优化
  • 控制上游石油和天然气部门拓展设备中的间歇生产扰动
  • 炼油厂/化工厂的性能优化和控制
  • 优化和控制化工厂的启动顺序
  • 离散制造业的物流和供应链优化
  • 警报合理化。
跟踪仪表板中的能量参数可以帮助可视化优化目标。图片礼貌:木头

跟踪仪表板中的能量参数可以帮助可视化优化目标。图片礼貌:木头

AI用于下一代高级控制

基于AI的机器学习控制系统显示了承诺作为高级控制的下一次演变,特别是对于具有大状态空间的复杂系统,部分在于变量之间的测量状态和非线性相关性。然而,需要一些关键的技术来实现这一承诺。

除了“数字孪生”的宣传之外,学习代理必须能够使用定向精确的模拟模型来进行实践,并在工厂中部署学习代理来做决策。先进过程控制的构建和人工智能学习agent的端到端过程是:模拟培训agent,跨多个优化目标和场景教学agent,评估agent,并最终部署agent在边缘作为生产控制系统。

人工智能技术可以扩展到任何可以通过模拟建模的复杂问题,如控制上游油气部门上部设备的间歇生产扰动,以及炼油厂/化工厂的性能优化和控制。图片礼貌:木头

人工智能技术可以扩展到任何可以通过模拟建模的复杂问题,如控制上游油气部门上部设备的间歇生产扰动,以及炼油厂/化工厂的性能优化和控制。图片礼貌:木头

基督官安德森是主要的计划经理,自治系统,与微软温斯顿·詹克斯一个应用情报的技术总监有吗木头,Prabu Parthasarathy,PHD是应用智慧的副总裁木头该公司是一家系统集成商和CFE媒体和技术内容合作伙伴。编辑马克·t·霍斯克,内容经理,控制工程,CFE媒体与技术,mhoske@cfemedia.com.

更多的答案

关键词:人工智能,控制系统,VP链路,盆景,仿真,加固学习

考虑一下这一点

你会在提供您的下一个控制系统,所以需要了解如何更好地服务的工具?


Kency Anderson,Winston Jenks和Prabu Parthasarathy
作者简介:Kence Anderson在微软创新了智能自主系统的设计,他为企业公司设计了100多个学习控制系统。温斯顿·詹克斯在过去的30年里一直致力于模拟器技术的发展。Jenks是康奈尔大学的一名化学工程师,负责Wood的VP Link simulator与控制系统、外部建模软件、用户界面和高级控制的产品开发、连接和集成。普拉布·帕塔萨拉蒂(Prabu Parthasarathy)完成了机械工程博士学位,18年前开始在Wood担任工程师,最终将自己的角色扩展到运营和管理领域。Prabu在上游、中游、下游、制造和其他多个行业提供软件产品和服务,为全球提供数字解决方案。