[통계] Cohen's Kappa (코헨의 카파)

1. 카파 상관계수란?

범주형 데이터에서 일치도를 측정하는 통계량이다.

 

범주가 순서형이 아닌 명목형이고, 비교군이 2개 이하인 경우에는 Cohen's kappa를 사용한다.

같은 경우지만 범주가 순서형인 경우는 Weighted Cohen's Kappa를 사용한다.

• n명의 환자를 대상으로 2명의 평가자가 측정하였을 때, 평가자 간 신뢰도 확인
• n명의 환자를 대상으로 두 가지 검사 방법 X와 Y을 사용할 때, X와 Y의 결과가 얼마나 일치하는지 확인
• n명의 환자를 대상으로 한 명의 평가자가 두 번 측정하였을 때, 1차와 2차 결과가 얼마나 일치하는지 평가자 내 신뢰도 확인

 

만약 아래와 같이 비교 군이 3개 이상인 경우는 Fleiss's Kappa를 사용한다.

• n명의 환자를 대상으로 3명의 평가자가 측정하였을 때, 평가자 간 신뢰도 확인
• n명의 환자를 대상으로 세 가지 검사 방법 X, Y, Z의 결과의 일치도 확인
• n명의 환자를 대상으로 한 명의 평가자가 세 차례 측정하였을 때, 1, 2, 3차 결과가 얼마나 일치하는지 평가자 내 신뢰도 확인

 

 

 

2. 카파 상관계수 계산 

교차표(contingency table)의 관찰빈도(observed frequency)와 기대빈도(expected frequency)를 통해 일치도를 계산한다.

 

• 관찰빈도(observed frequency)
  
  $$p_0 = \frac{1}{n}\sum^g_{i=1}f_{ii}$$
  
  
• 기대빈도(expected frequency)
  
  $$p_e = \frac{1}{n^2}\sum^{g}_{i=1}f_{i+}f_{+i}$$
  $f_{i+}$ = total for the $i^{th}$row
  $f_{+i}$ = total for the $i^{th}$column
  
  
• Kappa statistic
  
  $$\hat{k} = \frac{p_0-p_e}{1-p_e}$$
  
  
• Cohen's Kappa statistic
  
  $$k = \frac{Pr[X=Y] - Pr[X=Y | X and Y independent]}{1-Pr[X=Y | X and Y independent]}$$
  
  
• Standard Error of Cohen's kappa
  
  $$SE(k) = \sqrt{\frac{p_0(1-p_0)}{n(1-p_e)^2}}$$
  
  
• Weighted Cohen's Kappa
  
  $$k_w = 1- \frac{\sum{w_{ij}*f_{oij}}}{ \sum{w_{ij}*f_{eij} }}$$
  $ w_{ij}$ = Weighting factors
  $ f_{oij}$ = Observed frequency
  $ f_{eij}$ = Expected frequency

 

 

 

3. 카파 상관계수 해석

• Cohen's Kappa

>0.8	Almost Perfect
>0.6	Substantial
>0.4	Moderate
>0.2	Fair
0-0.2	Slight
<0	Poor

• Cohen's Kappa Standard Error (SE)
  
  표준 오차 (SE)는 Kappa 통계 추정치에 대한 변동성이나 불확실성을 측정한다.
  동일한 연구가 같은 모집단의 다른 표본을 사용하여 여러 번 반복되었을 경우 계산되는 값이 어느정도 달라질 수 있는지 나타내는 값이다.
  
  

 

• 해석 시 주의할 점
  
  두 그룹 결과에 대한 단순 매칭 비율이 낮아도 높은 카파 계수를 가질 수 있고, 매칭 비율이 높아도 낮은 카파 계수를 가질 수 있다. 카파 계수는 우연에 의한 일치를 보정하고, 불일치의 정도에 따른 가중치를 부여하기 때문에 단순 매칭 비율에서 확인이 어려운 정보를 포함하기 때문이다.
  따라서, 매칭 비율이 낮지만 카파 계수는 높은 경우에는 결과 값이 정확히 일치하는 경우는 적지만 불일치의 차이가 미미하기 때문에 높은 일치도를 가진다. 라고 해석할 수 있다.

 

 

* R 예제는 아래 포스팅 참고!

2024.01.12 - [Programming/R] - [R] Cohen's Kappa (카파상관계수)

[R] Cohen's Kappa (카파상관계수)