比以往更快地大规模测试人工智能在T&D中的应用

通过某大型TSO的真实案例,了解AI如何超越行业异质性,在复杂的工作流程中快速部署。

4天

对1200多张图片的数据集进行训练和标注。

1小时

要在400多张图片的验证集上测试AI。

68%时间

专家们在分析检测数据时省去了不少麻烦。

用人工智能达到生产级的表现需要一个漫长的、苛刻的、高度结构化的历程。

大量良好的数据、高质量的标签和行业专业技术是建立一个高性能模型的一些关键要素,如果再加上出色的算法和工程工作。

但归根结底,如果不能适应不同客户的实际情况和电力基础设施的类型,就没有解决方案的可扩展应用。 

在本白皮书中,您将了解人工智能如何超越行业异质性,并在复杂的企业工作流程中快速部署。

您只需一步就能获得这份白皮书!

1.借助人工智能监测资产健康状况  

世界上最大的输电线路位于巴西贝洛蒙特里奥,全长2543公里。而有史以来最高的输电塔高370米,在中国的大茅山可以欣赏到。令人印象深刻,对吧?现在试着想象一下这些巨大的资产,分布在一个巨大的公里范围内,随着时间的推移而老化,暴露在极端的天气条件下,被不断生长的植被所拥抱,并被鹳鸟拜访,它们发现它们就像市中心的公寓一样有吸引力。很有可能,缺陷和缺失的库存开始出现。(图1)

图1:输电塔上的缺陷实例--腐蚀(左)和鸟巢(右)。

定期检查和监测资产健康状况是避免停电和野火等严重后果的关键无论是使用直升机、智能手机还是无人机摄像头,传输系统运营商(TSO)都会定期收集其铁塔的数千张和数千张图像进行事后分析。这使得网络管理者可以比较基础设施多年来的状态,并做出有关预算和维护的决定。但事实上,管理如此大量的数据会导致该行业最大的痛点之一。

3000公里的输电塔通常会产生约100万张照片。仅在法国,就有超过10万公里的高压线。你能想象人工存储、分类并逐一查看巡视时拍摄的数百万张照片,以发现可能只有几毫米宽的问题吗?这是一个极其耗费精力和时间的过程。

为了对抗这一生产力瓶颈,人工智能(AI)是一项非常便捷的技术,它有助于加速检测数据分析。该软件解决方案可以自动突出检测图片上的缺陷和设备,并使业务领域专家能够提供更快、更好的资产健康报告。(图2)

图2:Sterblue 云平台中我们的AI工具自动检测紧固件腐蚀。

在以下几页中,您将了解AI如何超越行业异质性,并在复杂的企业工作流程中快速部署。更确切地说,我们将带您了解Sterblue'的旅程,以解决北欧最大的TSO之一提出的真实数据挑战。

2.接受挑战。仅用4天时间训练、测试和部署Sterblue 人工智能。

为了促进人工智能在大公司内部的应用,需要明确展示这一工具的优势。能源和公用事业公司希望确保解决方案能够匹配他们的需求,并且投资有真正的回报。一个很好的选择是 推出人工智能概念验证(PoC)来评估潜在的商业伙伴。通过这种方式,公司可以通过向相关利益相关者展示真实的结果,来获得教育、测试并在内部推广AI的价值。

2020年7月,一家负责欧洲4万多公里电路公里的输电线路的TSO发起了一项数据挑战,测试多家厂商的人工智能能力。毋庸置疑,Sterblue 马上就很想参加。而这些都是条件。

  • 训练阶段将在1 234张输电塔照片上进行,在这些照片上必须检测出6种缺陷。 
  • 之后,人工智能测试将在405张从未见过的图像的验证数据集上运行,最长时间为24h。
  • 作为一个整体,这个过程必须在不到两周的时间内完成,并将结果交付给技术服务组织。

自2016年以来,Sterblue 已经与全球多个客户积累经验,并为包括电网在内的不同类型资产打造专用人工智能工具。在这个项目的过程中,为了最大限度的发挥协同效应,我们在Sterblue 云平台上进行了每一个步骤。(图3)

图3:Sterblue 云平台回答整个数据挑战的Sterblue 流程。
"3年前,我们与能源企业合作的第一批人工智能试点项目曾经需要6到8周才能交付。今天,我们能够做到完全相同,但只需4天,到2020年底甚至更短。这些时间的节省不仅对 Sterblue,而且最重要的是对我们的客户来说是非常有价值的。而这个项目是展示它的最佳机会!"Geoffrey Vancassel,Sterblue CEO

3.准备工作。观察数据集的异质性。

抓好数据,对人工智能的预期效果起着重要作用。过去4年,Sterblue 一直在推动 自动导航软件驱动的现成无人机自动收集数据的愿景。.然而,由于传统的检查方法仍然植根于大公司,向这种标准化方法转变需要时间。缺乏信息、投资的优先权和转换成本是其中的一些原因。(图4)

图4:用现成的大疆无人机搭载Sterblue 自动飞行技术进行输电网检测。

欧洲主要的TSO利用多种流程、雇员和图像来源(智能手机、直升机、无人机)进行检查。这种标准化程度不高和高变异性导致数据集非常不统一。一般来说,数据湖的质量是这个项目的一个挑战,因为:

  • 在提供的1237张图片中,只有44张(3.6%)符合Sterblue's质量标准(图5)
  • 图片的文件格式(.jpg、.png等)、缩放比例和大小都很不统一。 
  • 图片中出现了很多不同的输电塔,周围环境也是千变万化。
图5:1237张图片按照质量等级的分布情况。

在对测试的复杂性有了清晰的认识后,Sterblue ,利用智能上传器将1237张图片上传到了Sterblue Cloud上。该功能不仅可以实现不同格式的大规模上传(一次上传+100GB的照片),还可以将每张图片分配到相应的基础设施和相关设备上。它的设计是为了预测可能的人为错误,在问题产生之前就将其解决,并确保最结构化的数据库。得益于此,Sterblue ,在提供的数据上能够发现并消除两个重复的数据,最终得到1235张原始数据。

在对检测数据的定期分析中,质量不好的图像会被自动过滤掉,如果需要的话,会在Sterblue Cloud中手动过滤掉。目标是确保系统只摄入干净的数据。然而,本次挑战旨在展示各厂商在处理强图像异质性时的能力。因此,1237张图像(实际上是1235张)哪里也去不了!

4.贴标签。将精确的人类专业知识与人工智能相结合

不同的公司有不同的资产管理政策。这种差异性可能取决于许多因素,如国家、铁塔类型、天气状况,甚至是内部规范,如用于对基础设施上的异常情况进行分类的术语(缺陷参考(图6)

图7:香港的输电塔(左)和中东的输电塔(右)是由.SterblueNet拍摄的。非常不同的环境,因此需要监测的问题也不同。

本次挑战赛,需要6种标准类型的标签:生锈的绝缘子、破碎的绝缘子玻璃、污染的绝缘子、闪络的绝缘子、生锈的塔结构和弯曲的塔结构。

在提到的缺陷中,Sterblue'的输电塔专用人工智能工具已经被训练成可以检测"生锈的绝缘子"和"生锈的铁塔结构",因为这些都是我们客户最常问到的问题。然而,它从未在主要TSO的特定铁塔上使用过,也未在本次挑战提供的1237张图片上使用过。因此,一个行业专家团队的重要任务是对整个数据集进行人工标注,以便我们的模型能够在训练阶段学习如何自动识别6种缺陷。(图7)

图7: Sterblue 自动检测到的锈蚀铁塔结构实例 。AI可以发挥重要作用,帮助监测腐蚀,这是TSO最大的挑战之一。

从客户的角度来看,要求提供具体的参考资料可能听起来是一个基本要求。但对于厂商来说,它提出了一个棘手的问题: 我们如何在现有的AI模型上进行扩展和利用,而不必每次都从头开始?

数据集的差异、不同的塔型和客户规格会让最复杂的算法黯然失色。一刀切的方法是不行的。根据《麻省理工学院技术评论》的Hanna Kerner的说法,"机器学习的研究人员如果没有意识到这一点,并期望工具能够"现成"地工作,往往会导致创建无效的模型。"为了克服这个问题,用我们所谓的"通用异常参考"来Sterblue 模拟每个客户的工业现实。这样我们就可以用我们基础上的任何可用数据来映射检测结果,使得没有必要对一个新客户从头开始,同时考虑到不同的现实情况。

最后一点要考虑的是客户要求的标签策略。在这种情况下,TSO只向我们提供了一张excel表格,说明哪些图像上存在哪些异常。或者换句话说,根本就没有标签策略。为了填补这一空白,Sterblue ,决定针对6种缺陷类型的每一种,制定最精确和统一的标签。目标是起草分段的注释,在受损部分周围有精确的边缘,确保在适应我们的算法时没有性能损失。(图8)

图8:由我们的专家进行的精确标签的例子。在这个案例中,它是一个破碎的绝缘体玻璃。

在Sterblue'的专家开始在Sterblue 云平台中标注1234张图片之前,我们让我们预先存在的输电网人工智能对数据集进行分析,寻找生锈的铁塔结构和生锈的绝缘子。虽然我们的模型从未见过这些图片或铁塔,但它仍然能够自动检测出866个上述缺陷。考虑到腐蚀斑点是最主要的检测结果,这是一个重要的帮助。之后,我们的行业专家团队又进行了2416次人工注释。平均而言,每张图像增加了2.6个检测点。(图9)

图9:添加到整个数据集的标签数量,按缺陷类型分布(向上)。其中约26.4%的发现是由人工智能自动检测的(向下)。

5.训练。根据客户的规格定制人工智能。

接下来自然是在挑战数据集上训练Sterblue'的专用神经网络。它需要多次迭代,让模型学习如何解释图像的特征,并调整可能的决策路径,直到收敛到理想的一个。首先,在算法上Sterblue 做了一些微调和优化,将预测偏差的可能性最小化,也就是所谓的"损失函数"。然后,在90%的图像上运行训练(随机选择),留下另外10%的图像用于验证虽然这个决定会稍微限制训练潜力,但也能Sterblue 更好地监控和调整模型参数。

如前所述,早在2016年,当Sterblue 成立时,为一个新客户培训我们的AI曾经是一个缓慢而漫长的过程。如今,我们可以在4天内完成对这次挑战提供的1234张图片的标注和训练阶段。这个项目的最后也是最后一个阶段是 ,在由405张图片组成的验证数据集上测试我们的AI能力,其中Sterblue ,耗时不到1小时(在24h的期限内)。 这只能归功于我们最先进的训练系统和我们专用的AI工具所达到的成熟度。(图10)

图10:利用Sterblue'的专用AI工具,仅用4天时间就完成了这个项目。百分比指的是每个阶段对最终性能的影响。
Sterblue" '的专用AI工具越来越成熟!事实上,我们可以利用现有的模型来加速标签和训练过程,这是加快部署AI的关键。很快,一个这样性质的项目只需要几分钟就可以完成:在Sterblue 云平台上拖拽图片的时间!而在云平台上,我们也可以利用现有的模型来加速人工智能的部署。" Geoffrey Vancassel,Sterblue CEO

6.绩效。根据微调的关键绩效指标评估人工智能的情况

在评估人工智能时,有2个重要的关键性能指标(KPI):召回率精确度Recall给出了AI成功发现的现实生活中缺陷的比例。例如,如果在输电塔上存在的100个异常中,人工智能检测到90个(真阳性),错过10个(假阴性),召回率将等于90%。考虑到能源基础设施的关键性,召回率是最重要的检索指标。如果不能识别和修复网络问题,会造成严重的后果。

另一方面,精度是指检测的相关性。换句话说,在人工智能指出的所有检测中,精度衡量哪些是实际缺陷(真阳性),哪些不是(假阳性)。比方说,AI检测到了100种情况。如果其中只有70个是实际的异常,那么精度将等于70%。Sterblue ,我们也在努力优化这个指标,因为我们不想用错误的警报来淹没用户。在最佳的情况下,所有的检测都是相关的(精度=100%),AI不会错过任何检测(召回率=100%)。(图11)

图11:精准度和召回率的图表解释。

精确度和召回率以另外2个指标的函数来表示。交叉点联合(IOU)阈值考虑了检测与地面真相(现实生活中的缺陷)之间的重合度,以确定预测是否可以定义为真阳性。选择的IOU越高,精度和召回率就越低。而置信度分数阈值则给出了约定的置信度,从这里开始考虑对检测进行评估。(图12)

图12:图解交汇点超过联盟(IOU)(左)和精确性和召回率作为该指标的函数(右)。

保持10%的训练数据集是计算这些指标的关键,因此在测试阶段调整模型以达到最佳性能。根据缺陷的类型,召回率和精度的值分别在44%和83%以及60%和100%之间摇摆。(图13)

图 13:根据给定的置信度阈值和交叉点超联合 (IOU),每个缺陷的召回率和精确度值(向上)和全球平均值(向下)。

在正常情况下,Sterblue 只有在两个KPI都达到至少80%的情况下,才会推出生产异常,除非客户要求不同的标准。然而,这次挑战的目标并不是直接实施解决方案,而是展示人工智能在短期内的可扩展性,并给客户一些清晰的观点。考虑到数据集较小,图像质量较差,标签指示稀少,这些实际上是非常积极的结果。 

7.附加值。利用人工智能提高生产力和可靠性

为了评估人工智能的生产力提升,Sterblue ,决定监测我们的专家在有和没有人工智能支持的情况下给每张图片贴标签的时间。这一点特别有意思,因为在这个项目中,1237张图片的初始数据集与验证数据集在图像质量和标注说明方面非常相似。在现实中,情况可能并不总是如此。

  • 在对训练数据集进行标注时,据业内专家报告,在人工智能没有进行检测的图像上,平均花费了近2分钟
  • 而在验证人工智能对测试数据集的405张图片进行的自动标注时,专家平均每张图片花费36秒。(图14)
图14:在有AI帮助和没有AI帮助的情况下,每张图像的贴标时间比较。在人工智能的帮助下,节省了68%的时间。

这意味着当使用人工智能来支持分析时,可以节省68%的时间。试着想象一个人在几个小时内审查和标记成千上万的图像。很自然地,他/她的注意力水平开始下降,潜在的错误开始出现。当你将合格的工人与强大的工具组合在一起时,真正的效率就会诞生。从长远来看,专家们将能够更快地迭代新到达的数据,从而以更高的频率进行检查。

将人工智能工具集成到检测工作流程中的优势远远超出了本白皮书中介绍的小样本。如果主要的TSO决定推进这项技术,其团队的生产力将大幅提高。而且,最重要的是,该公司将能够更好地监控其基础设施网络,确保电力供应的持续可靠性和安全性。

8.前景。扩大人工智能的规模并将其纳入检查工作流程

一旦完成概念验证,Sterblue ,总是会模拟预期的性能演进,假设未来会给AI输入更多的检测数据 (和更多的检测)。在这种情况下,摄取图像的时间估计为3个月,就足以达到缺陷检测的理想召回率和精度水平。(图15和16)

图15:每个缺陷在3个月内的召回率(上升)和精确度(下降)值(%)的变化。从本次挑战期间(现在)计算的值开始,然后计算假设3 000次和10 000次检测的值。
图16:3个月内全球平均精度和召回值(%)的变化。

这实际上是实现更好结果的唯一途径:数据、数据和更多的数据!数据集的大小与模型的性能有着内在的联系,牢记一致的图像质量和标签策略的重要性。数据集的大小与模型的性能有着内在的联系,牢记一致的图像质量和标注策略的重要性。为此,强烈建议采用标准化和可追溯的检测方法,比如无人机沿着自动轨迹飞行。

最后,了解人工智能将如何融入组织的工作流程也同样必要。 

  • 公司是否使用内部平台进行图像分析? 
  • 人工智能的成果会不会在之后供给另一个管理系统?
  • 客户需要哪些用例?缺陷检测?库存管理?植被管理?

这些都是Sterblue 在与客户进行密切评估时提出的问题的例子。我们的目标是确保资产管理工作流程的每一步都能顺利进行,包括相关的输入和输出。在这里,多功能性再次成为关键。虽然对于一些客户来说Sterblue 为整个检测过程提供中心平台对于其他公司来说,我们只是提供价值链中的一个单独步骤,比如我们的人工智能工具。(图17)


图17:检查工作流程推荐Sterblue ,作为基础设施检查和管理的中心平台。

9.人工智能服务于客户的需求。

在不到一周的时间里,Sterblue 能够准备、训练和测量超过1500张图像的数据集,同时为客户节省了超过60%的时间。这要归功于 我们的一套可定制的工具,适用于广泛的用例,并由我们的工程团队不断改进。到2020年底,我们期望在短短几分钟内实现更宏伟的成果。

要想通过人工智能达到生产级的性能,需要一个漫长、苛刻和高度结构化的历程。大量良好的数据、高质量的标签和行业专业知识,再加上出色的算法和工程工作,是构建性能模型的一些关键要素。但归根结底,如果你不能适应不同的客户实际情况和电力基础设施的类型,就没有解决方案的可扩展应用。

在不断发展和快速变化的能源市场中,卖出一项革命性的技术已经不足以努力。解决客户的需求,才是真正的增值。


哎呀!提交表单时出现问题。

"3年前,我们与能源企业合作的第一批人工智能试点项目,曾经需要6到8周的时间才能交付。今天,我们能够做到完全一样,但只需4天,到2020年底更短!"

杰弗里·范卡塞尔