İki Sonuçlu Nitel Veriler İçin Cohen Kappa Katsayısı ve Ayırt Edilebilirliğin Değerlendirilmesi: Bir Simülasyon Çalışması

Abstract

Amaç: Bu çalışmanın amacı, 2 sonuçlu nominal derecelen- dirme ölçekleri için Cohen kappa uyum katsayısı ile kategori ayırt edilebilirlik derecesini birlikte değerlendirmektir. Gereç ve Yöntem- ler: Çalışmada, Phyton-random kütüphanesi kullanılarak aralığında yer alan 35 farklı değeri için veri türetilmiştir. Ve- rilerin türetilmesinde önce ile gösterilen gözelerden han- gisine değer atanacağı sonra da ilgili gözeye atanacak değer belirlen- miştir. için 286, için 815 ve için 1000’er farklı veri seti çalışmada kullanılmıştır. Bulgular: Literatürde ayırt edilebilirlik derecesinin 0-1 aralığında değer aldığı ifade edilmektedir. Ancak 0 değeri içeren ya da ekstrem durumların söz konusu olduğu tablolarda ayırt edilebilirlik derecesinin tanım aralığının dışında, ne- gatif değer aldığı belirlenmiştir. Bunun yanı sıra literatürde ayırt edi- lebilirlik derecesinin nasıl yorumlanacağı ile ilgili çok genel bilgiler dışında herhangi bir bilgi yer almamaktadır. Dolayısıyla Cohen kappa katsayısı için literatürde yer alan yorumlama seviyeleri esas alınarak, ayırt edilebilirlik derecesi için yorumlama seviyeleri belirlenmiştir. Cohen kappa katsayısı için simülasyon çalışmasından elde edilen top- lam 34.097 sonucun %49,5’inde uyum yok, %22,1’inde önemsiz, %13,0’ında orta derecede, %8,3’ünde ekseriyetle, %5,2’sinde önemli derecede ve %2,0’ında neredeyse mükemmel uyum sonucu ile karşıla- şılmıştır. Ayırt edilebilirlik derecesi için ise %50,3’ünde ayırt edile- mez, %12,4’ünde önemsiz, %11,8’inde orta derecede, %9,9’unda ek- seriyetle, %7,6’sında önemli derecede ve %8,1’inde neredeyse mü- kemmel ayırt edilebilirlik sonucu ile karşılaşılmıştır. Her bir örneklem büyüklüğü ayrı ayrı dikkate alındığında da elde edilen sonuçlar benzer- lik göstermiştir. Sonuç: Kategoriler arasında ayırt edilebilirlik söz ko- nusu değilse değerlendiriciler arasında kesinlikle uyum aranmamalıdır. Kategorilerin önemli ya da mükemmel derecede ayırt edilebilir olması da değerlendiriciler arasındaki uyumun her zaman önemli ya da mü- kemmel derecede yüksek olacağını göstermez.