[논문읽기] On Merging Feature Engineering and Deep Learning for Diagnosis, Risk-Prediction and Age Estimation Based on the 12-Lead ECG

1. 개요 및 연구동기

 

12리드 심전도(ECG) 데이터에 대한 분석방법으로 기계학습이 많이 사용되고 있다. 하지만 기존 Feature Engineering 방법에 비해 얼마나 우월한지에 대해서는 아직 정확히 알 수 없다. 본 연구에서는

1. Feature Engineering 를 입력으로 사용하는 랜덤포레스트 

2. end-to-end deep learning 모델

3. Feature Engineering + DL 의 병합모델 

을 훈련시키고

1. multiclass-multilabel classification of 6 cardiac arrhythmia diagnosis

2. binary classification for AF risk prediction

3. regression for age estimation

작업에서 성능을 비교하였다.

 

Feature Engineering 방법은 분류작업에 데이터를 훨씬 적게 쓰면서 비슷한 성능을 낼 수 있었다. 그리고 regresesion 작업에서는 DL 보다 성능이 뛰어났다. 모든 작업에 대해 Feature Engineering 을 Deep Learning 과 병합해도 Deep Learning 단독성능에 비해 성능이 높지 않았다.

 

전통적인 12리드 ECG 기반 진단작업의 경우 DL은 FE 보다 성능이 뚜렷하게 좋지는 않다. 다만 비전통적인 회귀작업에서는 크게 개선되었다.(비전통적인 회귀작업이 무엇인지 파악 필요)

 

본 연구는 12리드 ECG 를 기반으로 한 새로운 기계학습 모델개발을 위해 어떤 기계학습 전략 및 Data regime를 선택해야 하는지에 대한 중요한 권장 사항을 제공한다.

 

2. Methods

 

2.1 Dataset

데이터셋은 TNMG 데이터셋의 일부이다. 모든 기록의 길이는 7초 ~ 10초 였으며 샘플링 주파수는 400Hz 로 리샘플링되었다. 표 1은 실험에서 고려한 다양한 클래스에 대한 데이터셋 구분을 보여준다. 

연령추정 작업의 경우 테스트 세트는 [10] 의 작업을 따랐다. 따라서 환자당 단일 기록은 Code-15% 데이터세트에서 가져왔다.

 

2.2 Feature Engineering

3가지 유형의 기능이 사용되었다.

1. 첫 번째 유형은 16개의 자체 보고된 임상변수 (보충 표 1) 로 구성되다.

2. engineered features 로는 [12] 에 나열된 기능을 포함하여 23개의 심박변이도(HRV) 기능이 사용되었다. 3가지 "extended parabolic phase space mapping 기능[13] 도 있다. [14] bSQI 라는 mean signal quality index 가 추가 HRV 특성으로 계산되었다.

3. 3번째 세트는 22개의 형태학적 특징으로 구성되었다[15]. HRV, MOR(Morphological 형태학적) 기능은 각 리드에 대해 계산되어 12리드의 기록당 총 557개의 엔지니어링 기능이 생성되었다. 연령 추정 작업의 경우 연령 칼럼이 빠져서 556개의 feature 를 사용하였다.

 

2.3 Model Pipeline

데이터세트 분할은 

1. 부정맥 진단 작업에서는 98:2

2. 위험예측작업에서는 80:20

3. 연령 추정 작업에서는 [10] 에서와 같이 80:5 비율로 분할되었다. CODE-15% 에서 가져온 기록을 테스트세트로 고려했다. 

 

3가지 작업에 대한 실험은 동일한 절차로 수행되었다. 그림 1(a) 

1. mRMR을 사용하여 기능의 중요도를 잡고, 

2. 랜덤포레스트로 FE를 입력하여 FE 성능 점수를 얻는다.

3. 

 

2.3.1 Feature importance with mRMR

MATLAB R2020b 내장 함수의 mRMR 알고리즘[16] 이 사용되었다. 특징 선택을 다중 이진 분류문제로 처리하고 6개의 레이블 각각에 대해 mRMR을 적용하여 6개의 순위를 얻었다. 그 다음 통합 접근 방식을 사용했다. 연령 추정 작업에서의 mRMR 결과에서는 supplementary information 1,2,3 참고

 

 

 

2.3.2 Model training and hyperparameter tuning

 

scikit learn 과 RF classifier 와 regressor 를 사용하였다. 검증세트 성능을 기준으로 하이퍼파라미터 튜닝을 수행했다. 최적화된 성능 측정은 작업에 따라 변경되었다. 리프노드의 트리 수, 최대 깊이, 분할 품질 기준 및 최소 샘플 수는 베이지안 최적화 (scikit optimize 0.9.0) 로 검색되었다. 

 

2.3.3 DL Branch

DL 모델은 [4] 에서 사용한 모델을 사용했다. 이 모델은 [10][9]에서 벤치마크 모델로 사용되었다. 4개의 residual block을 가지고 있고 최종 분류를 위한 FC 모델이 있는 구조이다.

 

2.3.4 Merged FE+DL model architecture

그림 1b참고. merging head에는 두 가지의 출력 뉴런을 결합하는 연결 레이어가 포함되어있다. 그 다음 하나 이상의 완전연결계층이 최중 출력을 생성한다. 최종 활성화 함수는 작업에 따라 다르다. 

 

 

2.4 Statistical Analysis

2.4.1 Performance measures

1. 부정맥진단과제 : [4] 와 같이 precision recall curve(AUPRC), F1 score 

2. AF위험예측 : AUROC 

3. 연령예측 : 입력연령과 출력연령 사이의 피팅을 특성화하기 위해 결정계수 R2, 손실함수 MAE

 

2.4.2 Confidence intervals

 

2.5 Learning Curves

 

3. Results

 

3.3 Age Prediction

 

 

 

 

4. Discussion

 

 

5. Conclusion

우리는 통합 모델 파이프라인을 개발하고 feature engineering 과 딥러닝 접근방식을 모두 활용하고 두 가지를 결합하여 성능을 관찰했다. 연령예측 작업에서는 DL이 FE 방법보다 대부분의 경우 우세하지만 classification 작업에서는 기존 방법이 더 우세하여 작업에 따라서 빅데이터 체계와 DL을 사용해야 하는 당위성을 설명하기가 어려울 수 있다는 점을 나타냈다.

 

 

 

 

레퍼런스 기록

1. 기존 기술 (기술적으로)

[7][8]

 

2. ECG 데이터셋을 사용한 연구

[4]

 

3. 연령추정

[10]

 

4. Code-15% dataset

[11]

 

5. DL branch

[4][10][9]