[논문읽기] Semi-supervised Medical Image Segmentation Using Cross-Model Pseudo-Supervision with Shape Awareness and Local Context Constraints

https://github.com/igip-liu/SLC-Net.

 

1. 개요 및 연구동기

반지도 의료 영상 분할에서는 훈련에 사용할 수 있는 제한된 양의 레이블이 지정된 데이터가 대상 영역의 가변성과 복잡성을 학습하기에는 부족한 경우가 많다. 이러한 문제를 극복하기 위해 모양인식 및 로컬 컨텍스트 constraints 를 사용하여 그럴듯한 예측을 생성하는 cross-model pseudosupervision 을 기반으로 하는 새로운 프레임워크를 제안한다. 

 

네트워크는 서로 의사 라벨을 제공하는 shape-aware network and a shape-agnostic network 로 구성된다. shape-aware network 는 다른 네트워크의 예측을 입력으로 추가하여 대상 영역의 형상에 대한 정보를 암시적으로 캡처한다. 반면 shape-agnostic network 는 MonteCarlo dropout uncertainty estimation을 사용하여 다른 네트워크에 신뢰할 수 있는 의사라벨을 생성한다. 제안된 프레임워크는 네트워크가 분할을 로컬 컨텍스트를 학습할 수 있도록 하는 새로운 손실함수로 구성되어 전체 분할 정확도를 향상시킨다. 

 

의료 영상 분할은 다양한 임상 적용을 위한 필수단계이다. 최근 딥러닝을 기반으로 한 분할 방법은 완전 지도 시나리오에서 놀라운 성공을 거두었다 [8, 18]. 그러나 이러한 방법의 성공여부는 대규모 데이터의 가용성에 크게 좌우된다. 전문가의 노동집약적인 프로세스이다. 의사라벨링, 엔트로피최소화, 데이터 증강, deep co-training [25,26], deep adversarial learning [28], multi-task learning [10,13,23], self-ensembling [5,19,20,27], and contrastive learning [6,17] 를 포함하여 다양한 준지도 방법이 제안되었다. 

 

중요한 성과에도 불구하고 준지도 분할은 많은 애플리케이션 설정에서 여전히 어려운 문제로 남아있다. 

1. 레이블이 지정되지 않은 데이터를 사용했을 때 성능을 어느정도는 향상시킬 수 있지만 충분할 정도는 안된다.

이를 극복하기 위한 시도 중 주목할만한 접근방식은 uncertainty, multi-task learning, contrastive learning이 있다. 그 외에는 shape information를 사용하여 해부학적으로 그럴듯한 결과를 생성하는 연구도 있다. 예를 들어, [10,23]의 접근 방식은 분할 클래스 확률과 각 픽셀에서 분할 경계까지의 가장 가까운 거리를 측정하는 부호 있는 거리 맵(SDM)을 모두 생성하는 다중 작업 학습 프레임워크를 사용합니다. 또한 [7]은 양방향 그래프 컨볼루션과 자체 앙상블 기술을 결합하여 준지도 분할에서 의미론과 기하학 간의 관계를 학습합니다.

 

명시적인 모양 제약조건을 사용하지 않고 입력 수준에서 모양 관련 정보를 활용하여 모양 제약 조건을 암시적으로 캡처한다. 두 개의 병렬 네트워크를 사용하며 각 네트워크는 서로 의사 레이블을 생성한다. 

 

첫번째 네트워크는 원본 이미지를 입력으로 받는다. 두 번째 네트워크에서는 동일한 입력과 함께 첫번째 네트워크에서 나온 확률맵을 수신하여 암시적으로 모양 정보를 캡처한다. shape-aware network는 예측경계를 수정하여 더 정확한 

 

 

 

시끄러운 의사 라벨의 영향을 완화하기 위해 신뢰할 수 없는 영역을 필터링하는 불확실성 추정 전략을 사용하여 모양에 구애받지 않는 네트워크를 강화한다. 또한 이미지 전체의 로컬 영역에서 정확한 예측을 수행하는 로컬 컨텍스트 손실이라는 새로운 손실 함수도 설계한다. 

 

기여는 3가지 이다.

(1) 이 작업을 위해 모양 인식 및 로컬 컨텍스트 제약 조건을 결합하여 라벨링이 제한된 조건으로 정확한 결과를 생성하는 새로운 교차 모델 의사 감독 프레임워크를 설계합니다. 

 

(2) 우리가 아는 한, 우리의 반 지도 분할 프레임워크는 복잡한 모양 제약 없이 반 지도 네트워크의 입력 수준에서 모양 정보를 통합하는 최초의 프레임워크입니다. 

 

(3) 네트워크가 분할의 로컬 컨텍스트를 학습하는 데 도움이 되는 새로운 손실 함수를 제안하여 전체 이미지에 걸쳐 모양 표현을 향상시킵니다.

 

 

2. Methods

$N$개의 라벨링된 데이터 : $\mathcal{S} = {(X_i, Y_i)}^N_{i=1}$

$M$개의 라벨링되지 않은 데이터 : $\mathcal{U} = \{X_i\}^{N+M}_{i=N+1}$

Raw images : $X_i \in \mathcal{R}^{H \times W}$

Corresponding ground truth annotation : $Y_i \in \{0,1\}^{H \times W \times C}$

image size : $H \times W$

the number of ground truth classes : $C$

보통 레이블이 지정되지 않은 경우가 많으므로 $N << M$

S와 U 의 합집합 D 가 주어졌을 때 X를 Y로 매핑하는 분할모델 F 를 학습하는 것이 목표이다.

 

2.1 Cross-Model Pseudo-Supervision with Shape Awareness and Local Context Constraints

 

 

2.2 Loss function

 

3. Experiments and Results

 

 

4. Conclusion

우리는 교차 교육 전략에서 서로 pesudo label 을 제공하는 두 개의 네트워크로 구성된 새로운 네트워크를 제시했다.

1. 원시이미지만 입력으로 받는 네트워크

2. 형상정보를 통합하기 위해 첫번째 네트워크의 예측을 활용하는 네트워크.

3. 그리고 정밀한 분할을 돕는 손실함수를 제안한다.

ACDC 및 PROMISE12 데이터세트에 대한 실험 결과 더 나은 성능을 보여주고 다양한 구성요소를 가진 이점을 보여준다. 어떤 경우에는 복잡한 구조를 분할하는 학습에 대해 적합하지 않을 수 있다. 향후 작업에서는 정확성을 더욱 높이기 위해 개별 지역에 중요도 가중치를 할당하는 적응형 전략을 조사할 예정이다.