[논문읽기] A combined CNN-LSTM and LSTM-QRNN model for prediction of Idiopathic Pulmonary Fibrosis Progression using CT Scans and Clinical Data

1. 개요 및 연구동기

Idiopathic Pulmonary Fibrosis (IPF) 는 시간이 지남에 따라 흉진 조직과 폐기능 손상을 유발하는 폐질환이다. 이 질환은 완치가 불가능하고 치료법과 원인이 알려지지 않아 치료가 어렵기 때문에 난제이다. 

 

FVC(Forced Vital Capacity) 는 폐 기능을 평가할 수 있으며 조기에 질병을 발견하는데 도움이 될 수 있다. 

 

본 논문에서는 CT 스캔 영상을 이용하여 FVC 값을 예측하기 위한 하이브리드 모델을 제시한다. (CNN-LSTM, LSTM-QRNN) 실험 결과 OSIC 데이터셋에서 좋은 Laplace Log Likelihood 점수를 달성함을 보여준다.

 

FVC 값을 기반으로 한 폐 기능 저하 예측은 IPF 및 기타 호흡기 질환을 조기에 발견하는데 도움이 된다.

 

본 논문에서 설명하는 contribution

1. 2D CT 슬라이스와 임상 메타데이터를 통합시켰다. 사전훈련된 EfficientNet을 사용했다.

2. 강제 폐활량의 uncertainty (불확실성) 은 smooth pinball loss 를 사용하는 LSTM-QRNN 네트워크에 의해 예측된다. 

3. 간단한 신경망을 앙상블 모델로 사용하여 예측결과를 향상시킨다.

4. OSIC 데이터에 대해 리더보드 1위보다 좋은 결과를 얻었다.

 

2. Methodlogy

최근 몇 년 동안 CNN은 컴퓨터 비전에서 강력한 도구였다. CNN은 sequence data 또는 시계열 데이터를 처리하는데는 제한이 있다. RNN, LSTM은 반대로 시계열 데이터를 더 잘 다룰 수 있다. 그래서 이 둘을 결합하면 모듈을 장점을 모두 얻을 수 있다. 

전체 모델의 개요는 그림 1에 나와있다.

 

$i$는 몇 번째 주인지를 나타내고, $FVC_{input}$ 은 환자의 첫번째 FVC 값이고, $Slope_a$ 는 Week 의 계수이다.  

 

그림 2는 첫번째 모델의 구조를 보여준다.

 

spline interolated zoom 을 통해 CT 슬라이스는 Normalize 된다. 학습 데이터의 크기는 32*128*128 이고, 테스트시에는 N*128*128 이다. 여기서 N 은 각 환자의 CT슬라이스의 수 이다. (왜 학습시에는 32이고, 테스트시에만 N인지는 파악중이다)

CNN에서 출력되는 feature 는 2048차원이고 LSTM은 256개의 은닉유닛을 갖는다. 1024 크기의 FC layer에서 임상 메타데이터중 4개 칼럼 정보를 합쳐서 FVC 기울기를 예측했다.

 

 

 

 

3. Experiment Results

 

 

 

 

4. Conclusion

ImageNet 에서 사전훈련된 CNN 모델의 전이학습 및 fine-tuning 기술은 작은 의료데이터세트를 학습시키는데 도움이 된다. CNN-LSTM 이 LSTM-QRNN 보다 성능에 더 많은 기여를 하고, 두 모델을 융합시켰을 때 성능이 가장 좋다. 

 

 

 

 

 

참고자료

https://ieeexplore.ieee.org/abstract/document/10013925

A combined CNN-LSTM and LSTM-QRNN model for prediction of Idiopathic Pulmonary Fibrosis Progression using CT Scans and Clinical