[통계] Diagnostic Test (진단 테스트) : Sensitivity, Specificity, Accuracy (민감도, 특이도, 정확도)

 

진단 모델의 성능을 평가하기 위한 테스트로 진단 모델이 실제 값을 얼마나 잘 예측하는지 평가하는데 사용된다.

 

1. Confusion Matrix

: 예측 값과 실제 값을 비교하기 위한 표

		Result
		1	0
Predict	1	TP (True Positive)	FP (False Positive)
	0	FN (False Negative)	TN (True Negative)

 

* TP (True Positive) : 양성으로 진단하고 실제로도 양성인 경우

* FP (False Positive) : 양성으로 진단하고 실제로는 음성인 경우

* FN (False Negative) : 음성으로 진단하고 실제로는 양성인 경우

* TN (True Negative) : 음성으로 진단하고 실제로도 음성인 경우

 

 

2. 진단 테스트 지표

 

민감도 (Sensitivity)

 : 양성을 양성으로 올바르게 진단한 경우

$$Sensitivity = \frac{TP}{TP + FN}$$

 

특이도 (Specificity)

: 음성을 음성으로 올바르게 진단한 경우

$$Specificity = \frac{TN}{TN + FP}$$

 

양성예측도 (PPV, Positive Predicted Value)

: 양성으로 진단하고 실제로 양성인 경우

$$PPV = \frac{TP}{TP + FP}$$

 

음성예측도 (NPV, Negative Predicted Value)

: 음성으로 진단하고 실제로 음성인 경우

$$NPV = \frac{TN}{TN + FN}$$

 

정확도 (Accuracy)

: 진단이 실제 값을 올바르게 예측한 경우

$$Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$$

 

 

 

3. ROC curve

양성률 (TPR, True Positive Rate) = Sesitivity : 양성을 양성으로 진단할 확률

위양성률 (FPR, False Positive Rate) = 1-Specificity : 음성을 양성으로 진단할 확률

 

일반적으로 진단 모델의 성능을 높이기 위해 TPR을 높이고자 하지만, 긍정적 지표인 TPR은 부정적 지표인 FPR과 서로 비례 관계이다.

예를 들어, 성급한 진단을 내릴 수록 작은 증상에도 양성으로 진단하기 때문에 양성을 양성으로 진단할 확률(TPR)이 높아지고, 음성을 양성으로 진단할 확률(FPR) 또한 높아지게 된다.

 

우리는 TPR과 FPR을 한눈에 볼 수 있는 ROC curve를 통해 적절한 진단 기준을 결정할 수 있다.

 

출처:https://medium.com/@ilyurek/roc-curve-and-auc-evaluating-model-performance-c2178008b02

 

 

4. AUC

ROC curve의 아래 쪽 면적을 의미한다.

일반적으로 AUC가 0.7보다 높을 경우 진단 모델의 정확도가 어느정도 있다고 평가한다.

 

AUC > 0.9 : Excellent

0.9 > AUC > 0.8 : Good

0.8 > AUC > 0.7 : Fair

0.7 > AUC : Poor

 

 

 

[R코드는 아래 글 참고] 

2023.12.08 - [Data Analysis/R] - [R] Diagnostic Test (진단 테스트) : Sensitivity, Specificity, Accuracy (민감도, 특이도, 정확도)

[R] Diagnostic Test (진단 테스트) : Sensitivity, Specificity, Accuracy (민감도, 특이도, 정확도)