딥 러닝을 사용하여 간단해진 세포와 핵의 인스턴스 분할

저자 Dr. Mike Woerdemann - 2022년 3월 15일

인스턴스 분할은 이미지를 개별 세포나 핵 같은 객체의 개별 인스턴스로 분할하는 작업입니다. 이전에는 이 작업을 할 때 후처리 작업이 필요했지만, 이제는 TruAI™ 딥 러닝 기술을 업데이트하여 인스턴스 분할을 극적으로 간소화했습니다.

이 게시물에서는 다양한 이미지 예시를 통해 이 간단한 인스턴스 분할 방법을 설명합니다. 현미경 이미지 분석에 대한 이점과 이를 통한 새로운 기능에 대해 알아보려면 계속 읽으세요.

현미경 이미지에서 인스턴스 분할이 이루어지는 방식

현미경 이미지를 자동으로 분석하려면 일반적으로 이미지를 객체, 일부분, 배경으로 나누는 분할 작업이 필요합니다. 비교적 간단한 분할 적용 분야에는 핵이 잘 분리된 이미지가 있습니다(그림 1 참조).

그림 1. DAPI 염색을 통해 핵이 시각화된 BPAE 세포 샘플. 샘플은 FLUOVIEW™ FV3000 컨포칼 현미경을 사용하여 20배 배율로 획득했습니다. 샘플이 부분적으로 표백되어 형광 신호가 여러 수준으로 나타납니다. TruAI 기술의 기능을 보여주기 위해 낮은 노광시간이 선택되었습니다.

여기에서도 TruAI 기술을 사용하여 노이즈가 있는 핵과 광범위한 신호 수준의 핵을 분할하는 것이 합리적입니다. TruAI 기술은 이 표준 적용 분야를 쉽게 해결할 수 있습니다(그림 2 참조). 이 이미지는 프론트그라운드 이미지와 백그라운드 이미지의 두 가지 클래스로 분할됩니다. TruAI 기술은 필요한 경우 최대 16개의 다른 프론트그라운드 클래스를 감지할 수 있습니다.

그림 2. 그림 1과 동일한 이미지가 TruAI 확률 맵과 중첩되어, 핵 픽셀이 빨간색으로 표시됩니다.

서로 중첩되거나 접촉 중인 핵은 개별 핵으로 분리하기 위해 몇 가지 간단한 후처리 단계가 필요할 수 있습니다. 신경망은 모든 픽셀을 핵 또는 배경으로 감지하는데, 별도의 객체로 구별하기 위한 배경 픽셀이 접촉 중인 핵 사이에 없기 때문입니다. 개별 핵의 분할을 인스턴스 분할이라고 합니다.

그림 3. 그림 1(왼쪽)과 그림 2(오른쪽) 상세 보기. 핵 픽셀 분할은 매우 훌륭하지만, 후처리 단계를 사용하여 접촉 중인 핵을 분리해야 합니다.

분할은 융합 세포 같은 보다 복잡한 분석 작업에도 유용합니다(그림 4 참조). 예를 들어, 분할을 사용하여 세포로 덮인 영역을 측정할 수 있습니다.

그림 4. 시야각은 그림 1에서와 같지만 이제 F-액틴을 표시하는 488 팔로이딘의 형광 신호도 표시됩니다.

그림 5. 표준 분할 신경망을 사용한 F-액틴 채널의 분할 결과. 신경망은 접촉 중인 세포 간 1px 거리의 경계로 훈련되었지만 분할 결과에서 개별 세포가 안정적으로 분리되지 못했습니다.

그러나 분할된 세포 영역을 개별 세포로 분할(인스턴스 분할)하는 후처리 작업은 어려울 수 있습니다(그림 6 참조).

그림 6. 그림 4(왼쪽)과 그림 5(오른쪽) 상세 보기. 인접한 세포 사이의 경계는 전경 클래스를 감지할 확률이 하락했음을 보여주지만, 개별 세포로 분리하는 후처리 작업은 경험 많은 사용자가 정교하게 처리해야 하는 어려운 작업입니다.

여러모로 복잡한 이미지에 대한 이 워크플로를 단순화하기 위해 Olympus에서는 scanR 스크리닝 스테이션을 위한 TruAI 기술에 간편한 인스턴스 분할 기능을 추가했습니다.*

인스턴스 분할 기능은 AI 기반 기능이며 수동 후처리 단계나 매개변수 조정이 필요하지 않습니다. 신경망 모델이 훈련되면 클릭 한 번으로 새 이미지에 적용하여 즉각적으로 분석 결과를 얻을 수 있습니다(그림 7 참조).

그림 7. TruAI 인스턴스 분할을 사용하여 클릭 한 번으로 핵(빨간색)과 세포(노란색) 감지 결과를 얻으십시오. 이 간단한 인스턴스 분할 방법에는 후처리 단계가 필요하지 않습니다.

아래 그림 8은 TruAI 인스턴스 분할로 추가 후처리 단계 없이 세포와 핵의 인스턴스를 직접 선사하는 방법을 보여줍니다.

그림 8. TruAI 인스턴스 분할을 사용하여 신경망이 핵(상단)과 세포(하단)를 바로 정확히 분리해냅니다.

아래 그림 9는 표준 분할과 TruAI 인스턴스 분할을 사용한 세포 분리 결과를 비교합니다.

그림 9. 복잡한 이미지(왼쪽 상단)를 분석할 때 표준 분할(오른쪽 상단)에서 TruAI 인스턴스 분할(왼쪽 하단)로 전개. 그 결과(오른쪽 하단), 세포가 거의 완벽하게 분리됩니다.

AI 기반 분할: 현미경 이미지 분석을 위한 강력한 도구 세트

Olympus의 업데이트된 TruAI 기술은 광범위한 이미지 분석 분야를 위해 개별 신경망 모델을 훈련하는 강력한 도구 세트를 제공합니다. 최적의 신경망을 훈련하려면 신중하게 표지된 예시(사용자 친화적인 소프트웨어에서 지원)가 필요하지만, 훈련된 신경망을 새 이미지에 적용하는 것은 간단하면서도 강력한 작업입니다.

또한 TruAI 인스턴스 분할을 통해 핵이나 세포 감지 같은 표준 적용 분야에 사용할 수 있는 신뢰할 만한 사전 훈련된 딥 러닝 모델을 제공할 수 있습니다. 사전 훈련된 모델에 대해 자세히 알아보고 예시를 보려면 곧 올라올 게시물을 확인하세요.

그 사이에 다음과 같은 다른 인스턴스 분할 적용 분야를 확인하세요.