[통계] 일치도 분석

1. 일치도 분석이란?

임상 연구에서는 두 개 이상의 진단 도구(혹은 평가자)에 의한 결과가 일치하는지에 관심을 가지는 경우가 많다.

아래와 같은 질문를 확인하고자 할 때 일치도 분석을 진행한다.

• 기존 측정 장비와 신규로 도입한 측정 장비의 결과가 일치하는가?
• A 의사가 측정한 결과와 B 의사가 측정한 결과가 일치하는가?
• 같은 메소드로 두 번 측정했을 때 1차 측정 결과와 2차 측정 결과가 일치하는가?

 

2. 일치도 관련 개념들

• 신뢰도(reliability)
  측정 도구가 얼마나 일관된 결과를 제공하는지 평가한다.
  즉, 동일한 조건에서 반복된 측정이 얼마나 안정적이고 일관된 결과를 내는지를 평가한다.
  내적 신뢰도 / 재검사 신뢰도 / 평가자 간 신뢰도 등이 있다.
  
  
• 타당도 (Validity)
  측정 도구나 방법이 실제로 측정하고자 하는 개념을 얼마나 정확하게 측정하는지를 평가한다.
  즉, 타당도는 측정의 정확성과 관련된 개념으로, 결과가 실제 상황이나 이론적 기대에 얼마나 부합하는지 나타낸다.
  
  
• 재현성(reproducibility)
  동일한 측정이 다른 조건, 다른 평가자 또는 도구로 수행되었을 때 결과가 얼마나 일관된지를 평가한다.
  평가자 간 신뢰도와 유사하지만, 더 넓은 범위(다른 시간, 장소 등)의 변동성을 포함한다.
  
  
• 일관성(consistency)
  측정의 정확도와 관계없이 평가자나 측정 도구가 여러 번 측정할 때 얼마나 일관된 결과로 측정하는지를 나타낸다.
  
  
• 일치도, 합치도(agreement, concordance)
  서로 다른 측정도구나 평가자간에 결과가 얼마나 비슷한지를 평가한다.
  즉, 절대적 정확성에 초점을 맞추어 두 측정값이 얼마나 동일한지를 확인한다.

 

 

 

3. 일치도 분석 종류

• ICC, Intra-class correlation coefficient : 연속형 자료의 일치도 확인
• CCC, concordance  correlation coefficient : ICC의 비모수적 방법
• Kappa : 범주형 자료의 일치도 확인
• ROC curve
• Passing-Bablok regression analysis
• Deming regression

각 분석에 대한 자세한 내용은 아래 포스팅 참고.

2024.01.03 - [Data Analysis/Statistics] - [통계] ICC, Intraclass Correlation Coefficient (급내상관계수)

2024.01.11 - [Data Analysis/Statistics] - [통계] Cohen's Kappa (카파 상관계수)

 

 

 

 

4. 분석 시 주의할 점

1. t 검정이나 상관계수를 일치도로 해석하는 것은 적절하지 않다.
   : t 검정 결과는 두 측정 방법 간 차이가 없다는 것을 의미할 뿐 결과가 일치한다는 의미가 아니다.
   상관계수는 두 측정치간 선형 연관성을 의미할 뿐 일치도를 의미하지 않는다.
   
   
2. 자료의 형태에 따라 적절한 분석 기법을 사용해야한다.
   
   
3. 연속형 자료는 분석하기 이전에 산점도나 Bland-Altman plot으로 변동성을 요약하는 것이 좋다.

 

* Reference

 - Pearson's correlation vs. ICC

(https://medium.com/analytics-vidhya/comparing-intraclass-correlation-to-pearson-correlation-coefficient-with-r-d78086127216)