实例分割是将一幅图像分割为不同对象的单个实例,例如单个细胞或细胞核。 这一任务过去要求执行后处理步骤,但现在我们对TruAI深度学习技术进行了更新,显著简化了实例分割流程。
在这篇博文中,我们将通过各种图像示例为您介绍这一简单易用的实例分割方法。 您可以通过下文了解其在显微镜图像分析中的优势及其支持的新功能。
实例分割在显微镜图像中的使用
显微镜图像的自动分析通常需要将图像分割为不同的对象、部分和背景。 相对简单的分割应用包括那些有着完全分离的细胞核的图像(参见图1)。
图1. 经DAPI染色后显示细胞核的BPAE细胞样本 图像使用FLUOVIEW FV3000共聚焦显微镜在20倍放大倍数下采集。 样本因部分漂白导致产生不同强度的荧光信号。 为显示TruAI技术的优势,选择了较短的积分时间。
即使在接下来的示例中,使用TruAI技术在较大信号强度范围内分割噪声细胞核和细胞核也可以获得良好的效果。 TruAI技术可以轻松实现这一标准应用(参见图2)。 图像被分割为两类:前景和背景。 如果需要,TruAI技术可以检测多达16种不同的前景类别。
图2. 图1中的相同图像叠加了以红色指示细胞核像素的TruAI概率图。
相互重叠或接触的细胞核可能需要采取一些简单的后处理步骤来将其分割为单个细胞核。 因为神经网络会将所有像素检出为细胞核或背景,而相互接触的细胞核之间没有背景像素可将其区分为单独的对象。 单个细胞核的分割被称为实例分割。
图3. 图1(左)和图2(右)的细节图。 细胞核像素的分割效果非常好,但相互接触的细胞核必须通过后处理步骤实现分离。
分割对于更复杂的分析任务也很有用,例如融合细胞(参见图4)。 例如,您可用分割来测量细胞覆盖的区域。
图4. 视野同图1,但另外显示了标记F-肌动蛋白的488鬼笔环肽的荧光信号。
图5. 标准分割神经网络下F-肌动蛋白通道的分割结果。 虽然神经网络接受了相互接触的细胞间1像素边界的训练,但分割结果仍无法可靠地分离单个细胞。
而且,将细胞分割区域分为不同的单个细胞(实例分割)是一项具有挑战性的后处理任务(参见图6)。
图6. 图4(左)和图5(右)的细节图。 相邻细胞间的边界显示出前景类别概率的下降,但单个细胞的分离仍要求经验丰富的用户进行复杂的后处理。
对于复杂程度不一的图像,为了简化这一工作流程,我们为scanR扫描工作站的TruAI技术添加了一项简单的实例分割功能。*
实例分割功能基于人工智能,不需要手动执行后处理步骤或调整参数。 待神经网络模型训练完成后,即可应用到新图像上,只需单击一下鼠标即可获得即时的分析结果(参见图7)。
图7. 使用TruAI实例分割功能后,单击一下即可获得细胞核(红色)和细胞(黄色)的检测结果。 这种简单的实例分割方法不需要后处理步骤。
下方图8显示了TruAI实例分割功能如何直接给出细胞和细胞核的实例,而无需进一步的后处理步骤。
图8. 神经网络模型在TruAI实例分割功能的支持下直接完成了细胞核(顶部)和细胞(底部)的正确分离。
下方图9比较了使用标准分割与 TruAI实例分割功能进行的细胞分离结果。
图9. 分析复杂图像(左上)时,从标准分割(右上)到TruAI实例分割(左下)的演变。 结果(右下)显示近乎完美实现了细胞间的分离。
基于人工智能的分割:显微镜图像分析的强大工具集
我们的最新TruAI技术提供了一个强大的工具集,可为多种图像分析应用训练单个神经网络模型。 虽然最佳神经网络的训练要求提供认真标记的示例(由我们的用户友好软件提供支持),但将训练好的神经网络应用于新图像的任务不仅简单而且可靠。
TruAI实例分割也支持我们为细胞核或细胞检测等标准应用提供预先训练好的可靠的深度学习模型。 请留意我们随后发布的博客,以便了解更多有关预先训练模型的信息,并观看示例。
同时,请浏览其他实例分割应用示例:
图10. 肌肉纤维染色的实例分割
图11. 亮场中酵母的实例分割
图12. 核膜染色的实例分割
*scanR系统不在日本提供。