随着人工智能（AI）对我们世界的影响越来越大，阿德莱德大学（University of Adelaide）正在探索技术在健康领域，特别是在临床决策和解释方面可以发挥的作用。

发表在《未来医疗保健杂志》上的分析综述概述了健康人工智能的主要挑战之一——可解释性，并探讨了对个人具体预测的解释是否绝对有必要做出正确的决定。

阿德莱德大学澳大利亚机器学习研究所（AIML）的Melissa McCradden博士说：“专注于个人层面解释的可解释性领域是一个正在发展的领域。”

“我们对该领域的发展前景持乐观态度，但就我们目前的情况而言，要求临床决策的预测级解释是有问题的。”

McCradden博士和她的合著者Ian Stedman博士（加拿大多伦多约克大学的律师和公共政策教授）认为，一个好的临床决定不仅要推进护理目标，而且必须在法律上站住脚。

Stedman博士说：“临床医生必须根据一系列其他因素调整他们的判断，即使他们使用的是经过充分验证和高度准确的人工智能工具。”

McCradden博士是医院研究基金会集团人工智能伦理临床研究员、妇女和儿童健康网络人工智能主任以及病童医院的兼职科学家。他说，可解释性有两种类型——固有可解释性和事后可解释性。

内在可解释性指的是理解模型作为一个整体是如何运作的，而事后可解释性指的是试图理解模型产生特定预测的手段。

有些模型是直接可解释的，这意味着从输入到输出的操作很容易遵循和清晰，例如决策树。其他的则更不透明，这意味着从输入到输出的过程很难或不可能精确地遵循，即使对开发人员来说也是如此，”麦克拉登博士说。

“问题是在健康人工智能中，临床医生通常认为，当他们看到热图之类的东西时，他们得到的是一个解释，或者是一个伴随着患者接收该输出原因的预测。这是许多临床医生想要的，但新的证据表明，当人工智能工具不正确时，这可能会促使他们做出不那么准确的决定。”

他们的工作建立在另一位AIML研究员Lauren Oakden-Rayner博士之前的工作基础上，他的论文关于可解释性方法的局限性，突出了该领域的新生。

麦克拉登博士和斯特德曼博士认为，可解释性本身不应该成为道德决策的重要组成部分。

临床医生需要从证据和理解中得出结论，将患者置于过程的中心，而不是人工智能。

斯特德曼博士说：“把更多的权重放在人工智能工具的输出上，进一步转移了对病人的重视——他们的愿望、他们的文化、他们的背景。”

“从历史上看，合理的判断是在临床医生可获得的全部证据和资源的基础上做出的，并考虑到患者的具体情况。

麦克拉登博士和斯特德曼博士得出结论，人工智能预测不太可能成为临床医生做出决定的唯一信息来源，特别是因为它们的表现从来都不是100%完美的。

“在可预见的未来，始终有必要对证据来源进行三角测量，以指向一个合理的决定，”麦克拉登博士说。

从这个意义上说，医生应该考虑人工智能工具的输出对整体临床情况的贡献。但我们始终需要以病人的愿望和最佳利益为基础。”

McCradden博士非常感谢医院研究基金会的资金支持。