日本理化学研研究所(Riken)同步辐射科学研究中心应用技术开发研究组生物组织研究组组长米仓功治（东北大学多学科材料科学研究所教授）、内藤久志博士研究员、滨口俊树研究员、内藤久志先任研究员、浜口祐研究员、高场圭章研究员，XFEL研发部电子束/离子束研发组成像研发团队的真木研究员一起发开了基于人工智能的冷冻电镜图像自动采集系统。
在单颗粒解析(以下简称SPA)过程中,蛋白质或其他物质的三维结构是通过拍摄大量单个分子的图像来确定的，而在使用微晶体的三维电子衍射(以下简称MicroED)则记录衍射图案。尽管这两种方法都允许自动采集，但是当样品质量较差时需要人工干预，所以实际使用中基本都算是半自动采集。基于此，研究团队开发了yoneoLocr[You OnlyNavigate EM Once to LOCate in Real time]系统，一个使用人工智能来提升冷冻电镜数据采集自动化的软件。该软件基于一种在深度学习实时图像检测方面已经非常成熟的开源算法YOLO(You Only Look Once)，软件的操作思路是首先利用深度学习对分子成像和电子衍射图案采集所获得的图像数据进行训练，接下来使用训练结果指导数据采集过程的图像识别过程，提升该过程的准确率。该软件成功地在RIKEN的日本电子CryoAM300冷冻电镜上部署并实测。实验结果表明，数据采集失败几率大减，SPA以及MicroED两种方法都可以实现完全自动化采集。上述研究结果发表在『CommunicationsBiology』上。
冷冻电镜(CryoEM)的单颗粒解析无需对样品进行预结晶化处理，而是通过拍摄单个分子的大量图像来确定蛋白质等生物大分子的三维结构。具体来说，是将蛋白质溶液负载在1-2um孔径的quantifoil碳膜上，然后将其急速冷冻至液氮温度，并在液氮温度下使用电镜进行观察。由于样品的有效观测区域是孔洞中的冰层，需要根据中等放大倍率（x1,000-10,000）拍摄的图像来识别孔洞，并根据识别结果调整电子显微镜的样品台的位置，确保孔洞在相机视野的中心。这种调整一般是计算与先前准备的参考图像（单个孔洞的图像）的相似性来确定当前孔洞中心与视野中心的距离。但是，如果冰层较厚导致图像的衬度很差或者图像中出现大块冰或大块碎碳膜（污染）时，与参考图像的相似性就会变差，这也就会导致比对失败，从而导致高倍成像位置出错。
另一方面，MicroED可以从非常小的分子晶体中确定分子的三维结构，在评价用于药物和功能材料时，也会使用冷冻电镜MicroED技术采集晶体样品的衍射图样。在数据采集流程中，寻找适合于衍射的晶体可能需要半天以上的时间，且该部分时间需要大量的人工参与。因此，研究团队尝试利用人工智能（AI）来自动化识别合适的晶体，提高效率。
基于人工智能的冷冻电镜数据采集(SPA&MicroED)流程示意图
现在流行的冷冻电镜SPA采集方法是，一旦中心孔洞和相机视野中心对中完毕，电镜会利用Beam Shift从对中点周围3×3或者5×5甚至CryoARM300可达的7×7多个孔中获得图像。这样电镜就可以尽量少移动样品台以减少样品台移动导致的漂移。这样可以兼顾图像质量和数据收集效率。然而，如果中心孔洞和相机视野中心的对中就失败了的话，会导致对中点周围3×3、5×5 或7×7孔洞的图像都收集失败，从而减少了数据的有效利用率。
用于单颗粒分析的冷冻样品和碳膜中孔洞位置的示意图
左：以约1000倍的放大倍率拍摄的冷冻电镜图像。蛋白质分子被埋在碳膜孔中的非晶冰中。右：在单个样品台移动中拍摄的碳膜孔的示意图。将视野中心对准黄色中心位置后，通过Beam Shift拍摄周围5×5的孔。
而yoneoLocr系统的思路是收集大量碳膜孔照片，通过机器学习孔洞特征。然后，根据这个训练结果来判断图像中的孔洞位置，图像识别所需的时间小于0.1秒。即使在衬度很差（冰层较厚）的情况下，yoneoLocr也能精确识别出孔洞位置。实测结果使Riken现有的CryoARM300冷冻电镜的单颗粒收集效率大大增强。
YoneoLocr系统判定碳膜中的孔
用正方形标注的是由yoneoLocr判定碳膜上的孔，方块上方的数字表示判定的置信度。通常，当薄膜的孔哪怕只有一小部分存在遮挡或者污染（如左图左上角）时，孔都是非常难被判定的。而通过YoneoLocr现在能够准确判定孔的存在和位置。
接下来验证MicroED。首先使用各种微晶体样品的低倍率图像，如蛋白质、肽、功能性有机材料和药物用作机器学习。冰晶和其他在冷冻电镜观察中常被视为污染的晶体也被识别出来，并可以被从图像中排除。此外，这些样品的衍射图案（下图左和中）也是以同样的方式进行训练，训练结果被纳入CryoARM的操作软件。基于AI训练的结果，该软件学会了从低倍率图像中确定晶体的位置并在全局图像(Maps)中列表登记该位置（下右图）,同时在样品倾转之前就可以确定晶体的质量。这使得在MicroED测量中全自动地获取高质量数据成为可能。同样的，实测结果证明Riken现有的CryoARM300冷冻电镜也实现了高精度、高效率的MicroED采集。
YoneoLocr系统判定衍射点质量
左图：蛋白质微晶的衍射图案实例。衍射点定义明确，被评为 "良好"，具有很高的置信度。中图：一个功能分子的微晶体的衍射图案的例子。由于衍射点的质量差，这个图案被评为 "坏"。右图：从低倍率的图像中检测微晶。不适合测量的厚晶体（检测为 "厚"）可以自动排除在测量之外。
综上所述，该软件利用机器深度学习实现了冷冻电镜的单颗粒解析和MicroED数据的自动采集并减少了人工干预。研究小组将新开发的系统命名为"youoneoLocr"（You Only Navigate Em Once toLOCate in Real time），并将源代码与自动采集和相关的脚本程序和程序一并公布。使用JEOL冷冻电镜的客户均可部署该脚本。
首页
