谷歌这个AI+AR插件能在显微镜中画出肿瘤轮廓，全世界医生都能用

大数据文摘作品

编译：龙牧雪、蒋宝尚、魏子敏

大家都听说过AR（增强现实）、VR（虚拟现实），电影《头号玩家》也展示了未来VR游戏的巨大潜力。但是如果把AR和机器学习相结合呢？

今天，谷歌Research团队在AI+AR+医疗相结合的领域又迈出了一步：他们在普通的光学显微镜上装了一个AR组件。

工作原理是这样的：用机器学习的方法实时分析显微镜视野下的图像，并实时输出模型的结果，通过AR组件，在原本的图像上绘制出潜在肿瘤的边缘。

也就是说，医生在看显微镜的时候，看到的不仅仅是细胞组织，还有机器学习建模的结果：一条“癌症轮廓线”。

最令人激动的地方在于，这个组件的成本非常低，可以直接被安装到普通的光学显微镜上，这将让全世界各地的医生、病理学家都有机会接触到深度学习。

点击观看AR显微镜的介绍视频https://v.qq.com/x/page/g0631dd4sns.html

深度学习在眼科，皮肤科，放射科和病理学等医学学科的应用，大大提高了医疗保健的准确性与可用性，给世界各地的患者带来了福音。比如，谷歌的最新研究表明卷积神经网络在检测乳腺癌转移方面，拥有与专业病理学家相媲美的准确度。

然而，利用复合光显微镜直接探测是否存在病变组织仍然是病理学家诊断疾病的主要手段。因此，在病理学中广泛采用深度学习的一个关键障碍是对微观组织进行数字化表示。

在4月17号举办的美国癌症研究协会年度会议上，谷歌的科学家公布了这篇名为“An Augmented Reality Microscope for Real-time Automated Detection of Cancer”的论文，描述了增强现实显微镜（Augmented Reality Microscope，ARM）平台。

大数据文摘公众号后台对话框内回复“显微镜”即可下载这篇论文。

ARM增强现实显微镜平台由改进的光学显微镜组成，支持实时图像分析，并且能将机器学习算法的结果直接渲染。重要的是，谷歌的ARM平台组件可以直接被装入各个医院和诊所中现有的光学显微镜中，成本低且易于使用。

通过现代计算组件和深度学习模型，例如建立在TensorFlow上的模型，人们将能在此平台上运行大量预训练模型。使用方式和传统的显微镜类似，用户通过目镜观察样本，机器学习算法将其实时输出投影到显微镜的光路中。

这种数字投影被叠加在样本的原始图像上，以帮助观看者定位或量化感兴趣的特征。重要的是，计算和视觉反馈更新迅速——目前，模型以每秒约10帧的速度运行，因此当用户在显微镜载玻片上移动或改变放大率时，模型输出可以无缝更新。

左图：ARM的示意图。数码相机捕获与用户相同的视场（FoV），并将图像传送到能够运行机器学习模型的实时推断的附加计算单元。结果被反馈到一个自定义的AR显示屏中，该显示屏与目镜齐平，并将模型输出投影到玻片所在的平面上。

右图：原型图，由典型的临床级光学显微镜改装。

ARM可以提供多种视觉反馈，包括文本、箭头、轮廓、热图或动画，并且能够运行多种类型的机器学习算法，旨在解决不同的问题，如目标检测，量化或分类。

为了展示ARM的潜在用途，谷歌在其上运行了两种不同的癌症检测算法：一种检测淋巴结标本中的乳腺癌转移，另一种检测前列腺切除标本中的前列腺癌。这些模型可以在4-40倍的放大倍数下运行。下图中的绿色轮廓是检测到的肿瘤区域，也就是模型输出的结果。这些轮廓有助于将病理学家的注意力吸引到感兴趣的区域，而不会掩盖潜在的肿瘤细胞外观。

ARM镜头的示例视图：4x、10x、20x和40x显微镜下的淋巴结转移模型（绿色轮廓的区域是模型识别出的肿瘤区域）

虽然这两种癌症模型最初都是在扫描仪的图像之上训练，且扫描仪的光学配置明显不同，但这些模型在ARM上执行得非常好，无需额外重新训练。

例如，淋巴结转移模型的曲线下面积（AUC）为0.98，而在ARM上运行时，前列腺癌模型在视场中的癌症检测（FoV）的AUC为0.96，性能仅略低于WSI。通过直接从ARM本身获取的数字图像中训练可以进一步提高这些模型的性能。

谷歌认为，增强现实显微镜有潜力对全球健康产生重大影响，且在医疗保健、生命科学研究和材料科学等领域有着广泛的应用，特别是对发展中国家传染病（包括肺结核和疟疾）的诊断。此外，即使在即将采用数字病理工作流程的医院中，ARM也可以与数字工作流程结合使用，处理扫描仪需要快速周转或者不能很好地检测问题的情况（如细胞学、荧光成像或手术中的冷冻部分）。

原文链接：

https://research.googleblog.com/2018/04/an-augmented-reality-microscope.html