BAE系统公司7月14日宣布，作为美DARPA能力感知机器学习(CAML)项目合同的一部分，BAE系统公司近期向DARPA交付了MindfuL软件。MindfuL软件的交付是该项目提高机器学习系统透明度的首个里程碑。BAE系统公司声称，该公司开发的新软件可以帮助美国国防部建立对机器学习算法产生的决策和情报的信心。

将基于人工智能的系统从决策工具转变为真正的合作伙伴，需要用户信任他们的机器伙伴。虽然机器学习技术已经成熟，但这些系统还不能传达其决策的背景和信心——包括任务策略、与给定任务相关的训练完成情况、可能影响其行动的因素，或者在特定条件下成功的可能性。机器学习算法为美国防部系统带来了希望，但是如何确定用户对其输出的信任度仍是一个挑战。情报官员一再指出，分析人员不能依赖于仅仅产生一个决定或一条情报的黑盒人工智能系统，他们需要了解这个系统是如何做出这个决定的，以及哪些看不见的问题（训练数据或其他方面）可能会影响这个决定。

为了应对这些挑战，BAE系统公司提供了MindfuL解决方案，该系统将独立“审计”基于机器学习的系统，并为最终用户提供对该技术建立信任的洞察力。该系统的第一个软件版本提供了一种基线能力，用于检测系统何时遇到未经训练的新环境。

BAE系统公司自主、控制和评估小组的产品线主管Chris Eisenbies说:“支撑机器学习和人工智能应用的技术正在迅速发展，现在是时候确保这些系统能够集成、使用，并最终在战场上获得信任。”MindfuL系统储存相关数据，比较当前环境和过去的经验，得出易于理解的结论。

MindfuL旨在通过提供更多关于产出的背景信息来帮助用户评估对于机器学习算法产生的决策和情报的可信度。该程序将生成这样的描述:“机器学习系统已经在阳光充足的干燥环境中导航了1000次，并且在类似条件下以高于99%的准确率完成了任务。”或者，“在类似的条件下，机器学习系统在雨中仅导航100次，准确率只有80%；建议手动控制。”

MindfuL软件是BAE系统公司和麻省理工学院计算机科学和人工智能实验室合作设计和制造的。根据DARPA在2019年授予的为期三年、价值约500万美元的CAML项目， BAE系统公司计划在今年晚些时候演示软件的仿真和原型硬件。