少量的人类专业知识可以带来更智能的机器学习和更高的置信度分数

人工智能可信吗?无论何时使用或讨论人工智能，这个问题都会出现——如今，人工智能无处不在。

甚至一些人工智能系统也会问自己这个问题。

许多机器学习系统都会创建专家所说的“置信度分数”，该值反映了系统对其决策的信心程度。低分告诉人类用户推荐存在一些不确定性;高分向人类用户表明系统至少对其决策非常确定。精明的人类知道在决定是否信任机器学习系统的推荐时要检查置信度分数。

能源部西北太平洋国家实验室的科学家提出了一种评估人工智能系统建议的新方法。他们让人类专家参与到循环中来查看机器学习在一组数据上的表现。专家了解机器学习系统通常正确分类哪些类型的数据，以及哪些数据类型会导致混乱和系统错误。有了这些知识，专家们就可以对未来的系统建议提供他们自己的置信度分数。

让人类监视人工智能系统的结果是什么?人类更准确地预测人工智能系统的性能。

只需最少的人力(只需几个小时)即可评估人工智能程序做出的一些决策，从而使研究人员能够极大地提高人工智能程序评估其决策的能力。在该团队的一些分析中，当人类提供分数时，置信度分数的准确性增加了一倍。

PNNL 团队最近在华盛顿特区举行的人类因素与人体工程学协会会议上展示了其研究结果，该会议是人类与人工智能机器人团队会议的一部分。

“如果你一开始就没有开发机器学习算法，那么它看起来就像一个黑匣子，”该研究的主要作者、人机交互专家科里·法伦 (Corey Fallon) 说。“在某些情况下，这些决定看起来不错。在其他情况下，你可能会得到一个真正令人头疼的建议。你可能不明白为什么它会做出这样的决定。”

网格和人工智能

这是从事电网工作的电力工程师面临的困境。他们的决策基于每时每刻都在变化的大量数据，以保持灯亮和国家运转。但电力工程师可能不愿意将决策权交给机器学习系统。

“有数百篇关于机器学习在电力系统中的应用的研究论文，但几乎没有一篇被应用于现实世界。许多运营商根本不信任机器学习。他们拥有机器学习无法学习的领域经验，”合著者 Tianzhixi “Tim” Yin 说道。

PNNL 拥有世界一流的电网现代化团队，其研究人员仔细研究了一种应用于电力系统的机器学习算法。他们利用来自东部电网的真实数据训练了 SVM(支持向量机)算法。该程序查看了 124 个事件，确定发电机是否发生故障，或者数据是否显示其他类型的不太值得注意的事件。

该算法的决策可靠性为 85%。当存在复杂的功率波动或频率偏移时，就会出现许多错误。与系统对其自身决策的评估相比，由人工参与创建的置信度分数有了显着改善。人类专家的输入可以更准确地预测算法的决策。

更人性化，更好的机器学习

Fallon 和 Yin 将新分数称为“专家衍生置信度”分数，或 EDC 分数。

他们发现，平均而言，当人类权衡数据时，他们的 EDC 分数可以预测算法的置信度分数无法预测的模型行为。

“人类专家填补了机器学习知识的空白，”尹说。“人类提供了机器学习没有的信息，我们证明这些信息很重要。最重要的是，我们已经证明，如果将人类专业知识添加到机器学习结果中，您就会获得更好的信心。”

Fallon 和 Yin 的工作由 PNNL 通过一项名为MARS(科学人工推理数学)的计划资助。这项工作是PNNL 在人工智能领域更广泛努力的一部分。该倡议汇集了人机协作和人为因素研究专家 Fallon以及数据科学家和机器学习专家 Yin。

法伦说：“这是准备和装备人工智能劳动力所需的研究类型。” “如果人们不信任这个工具，那么你就浪费了时间和金钱。您必须知道当您将机器学习模型带出实验室并将其应用于现实世界时会发生什么。

“我非常喜欢人类的专业知识和人机协作。我们的 EDC 分数可以让人们更好地评估情况并做出最终决定。”