Örneklem Büyüklüğünün Tahmin-Doğrulama Metrikleri Üzerindeki Etkisinin İncelenmesi: Bir Simülasyon Çalışması

Abstract

Amaç: Bu çalışmanın amacı, yaygın kullanılan tahmin doğ- ruluk metriklerinin tanıtılması ve farklı örneklem büyüklükleri için performanslarının karşılaştırılmasıdır. Gereç ve Yöntemler: Tah- min doğrulama metrikleri, bilimin çeşitli disiplinlerinde karar ver- me araçları olarak yaygın şekilde kullanılmaktadır. İki sonuçlu tahminler söz konusu olduğunda tahmin doğrulamaya yönelik ayırt etme kapasitesi metrikler kullanılarak değerlendirilebilir. Bu met- riklere eşiğe bağlı metrikler denir. Farklı örneklem büyüklüklerinin tahmin-doğrulama metriklerinin performansı üzerindeki etkisini ortaya koymak amacıyla yaygın olarak kullanılan 9 farklı eşik bazlı metrik dikkate alınarak bir simülasyon çalışması yapılmıştır. Python-random kütüphanesi kullanılarak 10 ? n ? 1000 aralığında 35 farklı n değeri için veri elde edilmiştir. Performans değerlendir- mesinde Kappa katsayısı için literatürde önerilen değerler ve yo- rumlama düzeyleri dikkate alınmıştır. Bulgular: Farklı örneklem büyüklüklerinin dikkate alındığı bu çalışmadan elde edilen sonuç- lardan, örneklem büyüklüğünün artırılması veya azaltılmasının tahmin doğrulama üzerindeki etkisinin neredeyse sabit olduğu tes- pit edilmiştir. Dikkate alınan tüm örneklem büyüklükleri için tah- minlerin yaklaşık %50’sinin neredeyse tüm metrikler için “doğru- lama yok veya önemsiz” yorumlama seviyesine sahip olduğu gö- rülmüştür. Metrikler adil, orta, önemli ve mükemmel doğrulama düzeyleri bir arada dikkate alınarak liberal olma bakımından sıra- landığında sıralama F, Odds Oranı Beceri Puanı, Kritik Başarı İn- deksi, Peirce Beceri Puanı, Clayton Beceri Puanı, Tahmin Beceri İndeksi, Heidke Beceri Puanı, Kappa ve Gilbert Beceri Puanı şek- linde elde edilmiştir. Sonuç: Tahmin doğrulama metrikleri, örnek- lem büyüklüğünden ziyade gözlem değerlerinin 2x2 çapraz tablo- lardaki gözelere dağılımdan daha çok etkilenmektedir.