MADDE ANALİZİ VE TEST GELİŞTİRME

Madde güçlüğü

a) Test değerlendirilir. Cevap kağıtları puan sırasına konur.
b) Üstten ve alttan kağıtların %27'si alınır.
c) Güçlüğü hesaplanacak sorunun (madde) "doğru" cevapları sayılır.

Madde güçlüğü p=(Üst grupta doğru cevap sayısı+Alt grupta doğru cevap sayısı/2*Yüzde 27
Mesela Üst grupta doğru cevap 40, Alt grupta doğru cevap 30, Toplam kağıtların %27 ise 50 ise
(40+30)/2*50=0.70
Maddenin güçlüğü, doğru cevap yüzdeleri üzerinden de hesaplanır.
Mesela, üst grupta 24, alt grupta 16 doğru cevap olan ve %27'si 40 olan bir test maddesinde üst grup yüzdesi 24/40=0.60, alt grup yüzdesi 16/40=0.40 ve ikisinin ortalaması 0.50'dir.

Maddenin ayırıcılığı

Üst grupta doğru cevap verenler ile alt grup arasında doğru cevap verenler arasındaki fark, maddenin ayırt ediciliğidir.
d=(Üst grupta doğru cevap sayısı-Alt grupta doğru cevap sayısı/Yüzde 27
Yukarıdaki soru meddesinin ayırıcılığı d=(40-30)/50=0.20
Eğer alt grupta doğru cevap verenlerin sayısı daha fazla ise, negatif yönde bir ayırt edicilik vardır.

Testin geçerliği

Test, ölçmek istediği bilgi ve beceriyi doğru ve başka faktörler karıştırmadan ölçebiliyor mu? Geçerlikler:
* Kapsam geçerliği: Test işlenen tüm konuları kapsıyor mu?
* Mantıksal geçerlik: Test ölçülmek istenen konunun en önemli bileşenlerini kapsıyor mu, yoksa birçok şeyi dışarda mı bırakıyor?
* Ölçüt geçerliği: Bu, uyum ve yordama geçerliği olarak ikiye ayrılıyor. Uyum geçerliği, uzmanlar tarafından hazırlanmış, geçerliğinden emin olunan daha önce hazırlanmış standar bir test ile sizin yaptığınız testin korelasyonuna bakar. Burada iki test arasında 0.70 ve daha iyisi 0.80 korelasyon aranır. Kestirim geçerliği, ilerdeki başarıyı ne kadar kestşrebildiğiyle ölçülür. Üniversite giriş sınavları ile üniversitedeki başarı arasında ne kadar bir korelsyon var?

Geçerliğin hesaplanması
 

Test sonucu	Başarılı	Başarısız	Toplam
Başarılı	A (testte ve soruda başarılı)	B (testte başarısız, soruda başarılı)	A+B
Başarısız	C (testte başarılı, soruda başarısız)	D (testte ve soruda başarısız)	C+D
Toplam	A+C	B+D	A+B+C+D

Geçerlik katsayısı c=(A+D)/(A+B+C+D). c değerinin 1.0'a yakın olması gerekir.
Gene bu tablodan çıkarılabilecek sonuçlar vardır.
Başarılıları ayırtedebilme: A/(A+C)
Başarısızları ayırtedebilme: D/(B+D). Bu değerlerin de 1.0'a yakın olması gerekir.

Testin güvenirliği

Bir gruba farklı zamanlarda iki kere uygulanırsa, öğrencilerin aynı veya birbirine yakın puanlar alması gerekir. Eğer iki test puanları arasında yüksek bir korelasyon varsa, testin güvenirliği de yüksektir.  Ancak bir testi aynı gruba iki kez uygulamanın getireceği bazı sakıncalar vardır. Burada bir test ortadan ikiye (veya tek sayılı ve çift sayılı sorular olarak) bölünür ve bir öğrencinin üst kısım ile alt kısım notları arasındaki korelasyona bakılır.
Bir testteki bütün soruların birbirleriyle tutarlılığı da bir açıdan testin güvenilirliği demektir. Burada Kuder-Richardson formülü uygulanır.
Güvenirlik, ölçüm tekrarlarındaki tutarlılık demektir.
Geçerli bir test mutlaka güvenilirdir, ama güvenirliği yüksek bir test her zaman geçerli olmayabilir.

Testin analizi

Testin sağa çarpık olması (pozitif değer) testin kolay, sola çarpık olması (negatif değer) testin zor olduğunu gösterir.
Başarı testlerinin güçlüğü p=test ortalaması/testten alınabilecek en yüksek puan formülüyle bulunur. Ortalama güçlüğün 0.50 civarında olması beklenir.

Aslında testin çeldiricilerinin de mantıklı seçilebilmesi için, bütün sorularda hangi cevap şıklarının ne kadar tercih edildiği tablosunun da çıkartılması gerekir. Burada hiç tercih edilmeyen şıkların bir çeldirici özelliği yoktur veya herhangi bir şık doğru şıktan daha fazla tercih ediliyorsa yanıltıcı bir tercihtir. Bu gibi hususlara dikkat edilmesi gerekir.
 

Test puanları üzerinde istatistiksel işlemler

Merkezi eğilim ölçüleri olan
Ortalama, sınıfın ortalama başarı durumu hakkında bir fikir verir.
Dizi genişliği, en yüksek ve en düşük puanlar arasındaki aralığı vererek puanların dağılımını bildirir.
Standart kayma, sınavdaki dağılımı gösterme açısından dizi genişliğinden daha sağlamdır. Bütün puanların sınıf ortalamasından farklarını verir. Standart sapmasının küçük olması bütün notların belli bir yere toplandığını, bu değerin büyük olması da notların çok fazla dağıldığını göstermektedir.

Korelasyon, bir kişinin iki ders notları arasındaki ilişkiyi gösterir. Bazı derslerde yüksek bir korelasyon aranırken, bazı derslerde negatif bir korelasyon bile çıkabilir.