Stats & AI tech blog - '일단 시도함'

[R] Fleiss' kappa (플레이스의 카파) 본문

Programming/R

[R] Fleiss' kappa (플레이스의 카파)

justdoit ok? 2024. 11. 26. 13:47

지난 포스팅에서 3개 이상의 범주형 비교군 간 일치도를 확인하는 방법인 플레이스 카파에 대해 알아보았다.

2024.11.22 - [Statistics & AI/Correlation] - [통계] Fleiss' kappa (플레이스의 카파)

 

[통계] Fleiss' kappa (플레이스의 카파)

Fleiss' kappa (플레이스의 카파)   이전 포스팅에서 카파 상관계수란 무엇인지와 Cohen's kappa에 대해 알아보았다.2024.01.11 - [Statistics & AI/Correlation] - [통계] Cohen's Kappa (코헨의 카파) [통계] Cohen's Kap

meowstudylog.tistory.com

 

이번 포스팅에서는 예제를 통해 R에서 플레이스 카파(Fleiss' kappa)를 계산하는 방법에 대해 알아보겠다.

 

1. 예시 데이터

  • 분석 목적 : 평가자 4명의 진단 결과 일치도를 확인하고자 한다.
  • 사용 데이터 : 명목 척도로 이루어진 4개의 범주형 변수
> head(data)
        rater1       rater2         rater3         rater4
             0          I-2              0            I-1
             0            0              0              0
             0            0              0              0
             0            0              0            I-2
             0            0            I-1            I-2
             0            0              0              0
             0            0              0            I-2
           I-1            0            I-1              0
             0            0              0              0
           I-1            0              0            I-1

 

 

2. R 코드 및 해석

{irr} 패키지의 kappam.fleiss() 함수를 사용한다.

detail = TRUE로 지정하여 각 범주 항목의 카파도 함께 출력한다. 

library(irr)
kappam.fleiss(first, detail = T)

 

출력 결과는 아래와 같다. 

> kappam.fleiss(first, detail = T)
 Fleiss' Kappa for m Raters

 Subjects = 2000 
   Raters = 4 
    Kappa = 0.558 

        z = 59.2 
  p-value = 0 

     Kappa      z p.value
0    0.592 57.488   0.000
E    0.433 15.512   0.000
I-1  0.348 23.111   0.000
I-2  0.363 30.692   0.000
M    0.539 27.879   0.000

 

전체 Kappa가 0.558로 보통 수준의 일치도를 보임을 확인할 수 있다.

여기서 p.value는 kappa가 무작위 수준이라는 귀무가설을 검정한 결과이다. Kappa 값이 크더라도 p.value가 유의하지 않으면 평가자 간 일치도를 통계적으로 확신할 수 없다.

  • : 완벽한 일치
  • 0.75 ≤ κ < 1: 높은 일치도
  • 0.4 ≤ κ < 0.75: 보통 수준
  • κ < 0.4: 낮은 일치도