12月19日，
腾讯
AI Lab发布其决策智能 AI 「绝悟」的最新成果「绝悟RLogist」，将 AI
深度
强化学习
技术迁移到病理全片扫描图像诊断领域，在性能接近的情况下，将传统病理阅片效率提升400%。
该研究相关论文被国际
人工智能
顶级学术会议 「AAAI 2023」接收，代码已开源。
「绝悟」AI 是
腾讯
将游戏场景与
人工智能
技术进行融合研究的核心探索之一，此前先后在 MOBA、RTS、3D开放世界（Minecraft）等多类型游戏中取得了业界领先的研究成果，证明了其在游戏复杂环境中较为优秀的决策智能水平。
本次发布的「绝悟RLogist」受启发于「绝悟」在3D游戏环境中进行观测并做出决策的过程，将这些能力迁移至病理阅片场景，提出了基于
深度
强化学习
找寻最优看片路径的方法，并在相关测试数据集中表现出较高的效率，达到业界领先水平。这也代表着「绝悟」成功从游戏场景走向现实世界，朝着解决更多现实世界难题的目标更近了一步。
让AI学习医生决策思维方式
随着技术发展，目前，病理行业正在加速向全数字化、智能化、云端化方向发展，临床科室常常将组织切片进行全片扫描数字化处理，以便医生阅片及管理。
数据显示，显微扫描仪生成的高分辨率图像往往能够达到每个像素0.25微米，每张图像的尺寸经常是几万乘几万像素甚至更高，虽然这能更全面地展现切片信息，却也给医生的阅片带来了更大的压力，他们要从布满密集细胞和组织的超大尺寸图像中，肉眼找到风险的病灶位置并进行判断，“大海捞针”式的工作难度可想而知。
在高清病理图像中，病灶区域可能仅占很小的比例
近年来，随着技术的发展，研究员尝试使用
深度学习
解决图像/像素级分类和回归问题，对医学图像分析领域作出了很大贡献，然而，全片扫描图像分析对于
深度学习
仍然具有挑战性。主要挑战来自两个方向：
第一，计算病理学中的病理图像（WSI）具有十亿像素大小的高分辨率，却往往只有一个图像级标签。目前绝大部分的方法都依赖于在高倍镜下对全切片进行密集采样的方式进行特征提取，并对所有采集特征进行信息整合进而实现全片诊断。
第二，这些图像的兴趣点区域（病变区域）往往很稀疏。这带来了诊断相关性弱、数据效率低下等问题。现有的方法大多依赖于多实例学习框架，需要在高倍率下密集采样局部的图像块（patch），增加了计算成本，一张切片往往需要几十分钟来完成计算。这限制了很多潜在的临床应用场景，比如大规模筛查和术中快速评测。
实际上，病理医生在对切片进行判读时，并不需要像这些计算机算法这样依次去观察高倍镜下的每一个角落。病理医生往往先利用显微镜在低倍镜下进行扫片，在高倍镜下确认相关区域，必要时可以灵活切换不同倍镜进行复核，根据经验决策最优的查看路径，以最终完成全片判读并定位到关键病灶。
人类医生会凭经验放大图像，检查可疑区域
「绝悟」团队观察到，病理医生的阅片行为，可以转化为最优路径决策问题，而解决这类问题正是
强化学习
所擅长的方向。以「绝悟」在Minecraft环境中完成挖木头任务为例，AI首先要环顾四周搜集全局信息（类比病理医生在低倍镜下扫片），然后锁定视角（高倍镜确认），找到木头后执行采集动作（确认病灶），如此往复。
受此启发，「绝悟RLogist」创新性地尝试了一种类似医生病理阅片的决策思路，采用了基于
深度
强化学习
的，找寻最优看片路径的方法，避免了用传统的穷举方式去分析局部图像切块，而是先决策找到有观察价值的区域，并通过跨多个分辨率级别获得代表性特征，以加速完成全片判读。
成果验证：决策提效400%
研究团队选择“淋巴结切片转移检测”及“肺癌分型”两个全片扫描图像的分类任务进行
基准
测试（TCGA-NSCLC 和 CAMELYON16 WSI 数据集）。结果表明，与典型的多实例学习算法相比，「绝悟RLogist」在观察路径显著变短情况下，能够实现接近的分类表现，决策效率提升400%。
同时，该方法具体较好的可解释性。通过将「绝悟RLogist」的决策过程可视化，有潜力应用于教育性或者辅助性的医疗诊断场景。
据了解，该项研究成果获得了同行审稿人的高度评价。研究员表示，未来团队将沿着两大路径持续优化，一方面，通过引入更强的
神经网络
结构增强「绝悟RLogist」的
表征学习
能力，另一方面，使用更高阶的RL训练方法避免学习到错误的观测路径，相信未来能在该领域进一步发挥AI技术的作用。
从虚拟到现实，让游戏AI走入现实世界
腾讯
AI Lab作为AI游戏研究先行者，其自主研发的
深度
强化学习
智能体正不断走近现实。除了「绝悟」，此前推出的棋牌游戏 AI 「绝艺」在担任国家
围棋
队训练专用AI同时，逐步拓展麻将等非完全信息类博弈能力。
同时，基于对
强化学习
技术前景的关注，实验室正积极促进
强化学习
领域的共同发展。2019年，
腾讯
AI Lab与王者荣耀共同发布AI开放研究平台「开悟」，过去三年已通过「以赛促研」助力高校AI人才培养。11月21日，平台发布「王者荣耀AI开放研究环境」，为非商业用途的
机器学习
算法研究公开提供业界独有的高复杂度MOBA训练环境，助力前沿探索。
未来，
腾讯
AI Lab将与学界、业界携手，共同利用游戏环境不断提升AI能力，并寻找 AI 技术解决更多问题的可能性，在现实领域发挥更大作用。
相关论文：
论文链接：http://arxiv.org/abs/2212.01737
开源链接：https://github.com/tencent-ailab/RLogist
相关文章
