MADDE ANALİZİ İLE ÖLÇME ARACI GELİŞTİRME

 Birinci aşama sınav amacının belirlenmesi olmalıdır. Test hazırlamanın ikinci aşaması, amacı gerçekleştirmek için gerekli konu kapsamının ve ölçülecek olan davranışların (niteliklerin) belirlenmesidir. Test hazırlamanın üçüncü aşaması, ikinci aşamada belirlenen davranışları ölçecek soruların yazılması aşamasıdır. Test hazırlamanın üçüncü aşamasında yazılan soruların tekrar gözden geçirilmesi ve soru yazarının fark edemediği anlam ve ifade bozukluğu, yazım hatası, eksik bilgilerin tamamlanması ve varsa yanlışlıkların son bir defa düzeltilmesi gibi işlemler yapılır. Sorular yazılıp kontrol edildikten sonra, testin, uygun bir şekilde form haline dö- nüştürülmesi gerekir. Uygulamada, sınavın bütün öğrencilere standart şekilde yapılmasına dikkat edilmelidir. Öğrencilerin oturma planlarının kopya çekilmesini önleyici şekilde olmasına dikkat edilmelidir. Yapılan sınavların puanlaması, kullanılan ölçme araç ve yöntemine bağlıdır. Eğer sınav, yazılı yoklama sınavı ise, puanlama hazırlanan bir cevap anahtarı ile yapılmalıdır.

Sınav hazırlamanın birinci aşamasında amacının belirtilmesi gerekir. Sınav hangi amaç için hazırlanmışsa, bu amacın açıkça belirtilmesi gerekir. Sınavların hazırlanış amaçlarını, Özçelik (1989), öğrencilerin konulardaki (ünitelerdeki) öğrenme eksikliklerinin belirlenmesi ya da öğrenmenin izlenmesi ve ikincisi ise dersin birkaç konusunu kapsayan öğrenme düzeylerinin belirlenmesi ya da erişiyi belirleme olarak ifade etmektedir. Bunlarla birlikte bazen hazırlanan testler, öğrenci seçmek amacıyla da kullanılabilir. Yapılan sınavın amacı, ilgili öğretim programında başarılı olma olasılığı yüksek olanları seçmek olabilir. Sınavların hazırlanış amaçları, öğrencilerin ünitelerdeki öğrenme eksikliklerinin belirlenmesi ya da öğrenmenin izlenmesi ve ikincisi de dersin birkaç konusunu kapsayan öğrenme düzeylerinin belirlenmesi ya da erişiyi belirlemedir

 Test hazırlamanın üçüncü aşaması, ikinci aşamada belirlenen davranışları ölçecek soruların yazılması aşamasıdır. Soruların yazılmasında, hangi ölçme araç ve yöntemi kullanılacaksa, o araç için soru yazımındaki önemli noktalar göz önünde bulundurulmalıdır. Sorular, hangi ölçme araç ve yöntemi için hazırlanırsa hazırlansın, aracın güvenirlik ve geçerliğini artıracak şekilde yazılması gerekir.

 Bu aşamada düzeltmeler bir kişi ile değil ekip çalışması ile yapılmalıdır. Bu ekipte, soru yazarıyla birlikte, yazım ve anlam bozukluğunun olup olmadığını bulmak için dil uzmanı, soruların teknik açıdan incelenmesi için ölçme ve değerlendirme uzmanı, soruların ölçtüğü davranış düzeyini belirlemek için program geliştirme uzmanı, soruların öğrenci seviyelerine uygunluğunu tartışmak için psikolog ve konu alanı uzmanı bulunmalıdır.

 Uygulamada, sınavın bütün öğrencilere standart şekilde yapılmasına dikkat edilmelidir. Öğrencilerin oturma planlarının kopya çekilmesini önleyici şekilde olmasına dikkat edilmelidir. Sınav anında uyulması gereken davranışlar, sınav süresi, soru sayısı ve soruların puan ağırlığı gibi bazı bilgilerin sınav başlamadan önce herkese duyurulması sağlanmalıdır.

  Eğer, öğrenmenin izlenmesi amacıyla test hazırlanıyorsa, konu kapsamındaki bütün davranışların en az bir soru ile yoklanması gerekir. Öğrencilerin vermiş oldukları cevaplardan, öğrenme eksikliğinin hangi davranışlarda olduğu belirlenir ve yeni bir üniteye geçmeden önlem alınmış olur. Amaç, erişiyi belirlemek ise kapsam, derste bir dönem ya da öğretim yılı içerisinde kazanması beklenen kritik davranışlar olarak belirlenebilir. Eğer amaç, bir öğretim programına öğ- renci seçmek ise, kapsam, öğrencilerin öğretim programındaki öğrenmelerine zemin teşkil edebilecek, bir alt öğretim kurumunda kazanması gereken davranışlardır.

 Soruları test formuna dönüştürürken, cevaplamayı kolaylaştırılacak şekilde bir düzenleme yapılmalıdır. Düzenlemelerin, soruların kolayca okunması ve cevapların yine kolayca verilmesine fırsat sağlayıcı olması gerekir. Sı- nav formu oluşturulduktan sonra, çoğaltma işlemi yapılmalıdır. Çoğaltmadaki kopya sayısı sınavı alacak öğrenci sayısından fazla olmalıdır. Çoğaltma anında, kullanılmayacak olan hatalı kopyaların titizlikle saklanması ve cevaplayıcıların eline ulaşmaması gerekir. Ayrıca, çoğaltma yapıldığında, çoğaltılan her kopyaya bir numara verilmek suretiyle sınav sorularının güvenliği kontrol altına alınabilir.

 Yapılan sınavların puanlaması, kullanılan ölçme araç ve yöntemine bağlıdır. Eğer sınav, yazılı yoklama sınavı ise, puanlama hazırlanan bir cevap anahtarı ile yapılmalıdır. Cevap anahtarında ise soruların cevabı olabilecek bütün ayrıntılara yer verilmiş ve her birine puan verilmiş olmalıdır. Öğrencinin cevap anahtarı ile tutarlı olan doğru cevaplarına, karşılığı olan puanlar verilerek puanlama yapılmalıdır. Sı- nav, kısa cevaplı, doğru-yanlış ya da çoktan seçmeli ise puanlaması daha kolaydır. Bu testlerde genellikle doğru olan cevaplar bir ve yanlış olanlarla boş bırakılanlar sıfır ile puanlanılır.  

 Çoktan seçmeli testler özellikle büyük gruplarda uygulanmasının getirdiği avantajlardan dolayı üzerinde çokça çalışılan bir ölçme araç ve yöntemidir. Hazırlanan ve bir öğrenci grubuna uygulanan çoktan seçmeli testin maddeleri analiz edilerek testin yeterince güvenilir ve geçerli olup olmadığı, testi oluşturan maddelerin iyi çalı- şıp çalışmadığı, bilenler ile bilmeyenleri birbirinden ayırıp ayırmadığı, güçlüğü ya da kolaylığı gibi özellikleri belirlenebilir. Bu özellikleri belirlemek ve bu özelliklerden yararlanarak istenilen niteliklerde bir ölçme aracı haline getirmek test geliştirme olarak adlandırılmaktadır.

 Klasik test teorisinin uygulamasının kolaylığı kullanışlılığını artırmaktadır. Klasik test teorisinde genellikle iki yöntem kullanılmaktadır. Bu yöntemlerden biri olan basit yöntemde, testi cevaplayanların bir bölümü (verdiği cevaplara göre yüksek ve dü- şük puan alan öğrencilerin oluşturduğu iki farklı grup) analize alınır. Basit yöntem alt ve üst grup ile madde analizi yöntemi olarak bilinmektedir. Henrysson yöntemi olarak bilinen diğer yöntemde ise testi alan öğrencilerin hepsinin cevapları analize alınır. Bir testi geliştirmek için bu yöntemlerden hangilerinin kullanılabileceğini, daha çok testin uygulandığı grubun büyüklüğü belirler. Grup sayısı 370- 400 ya da daha çok ise alt ve üst grup yöntemi kullanılabilir. Uygulama grubunun sayısı daha az olduğunda ise (60-70’e kadar ise) Henrysson yöntemi kullanılabilir. Özellikle yöntemlerden birincisinde test puanları dağılımının simetrik olması aranmaktadır. Yani, düşük puan alanların olduğu kadar yüksek puanların da olduğu ve puanların daha çok ortalama etrafında olduğu bir test puanı dağılımı olmalıdır. Aşa- ğıda, önce basit yöntemle madde analizinin nasıl yapıldığı açıklanmakta ve daha sonra da Henrysson yöntemine yer verilmektedir. Daha sonra ise her iki yöntem için birer örnek verilmiştir.  

  Madde analizi yapmakla maddelerin bazı özellikleri belirlenir. Bu özellikler, maddenin zorluğunu ya da kolaylığını gösteren madde güçlük indeksi (Pj), maddenin kalitesi hakkında bilgi veren ve sınav kapsamındaki davranışlara sahip olan ile olmayanları birbirinden ayırma derecesini gösteren madde ayırıcılık gücü indeksi (rjx), madde varyansı, maddeler arasındaki kovaryans ve korelasyon katsayıları gibi özelliklerdir. Maddelerin bu özelliklerinden yararlanarak, geliştirilecek olan nihai testin parametreleri kestirilebilir. Test parametreleri ise, testin güvenirliği (rx), geçerliği (rxy), ortalama güçlüğü (P), aritmetik ortalaması (X), standart kayması (Sx), gibi özelliklerdir. Madde özellikleri ile test parametreleri arasında kurulan fonksiyonlar ile nihai testin parametreleri kestirilmeye çalışılır.  

  · Öğrenci cevapları, doğru olanlar 1 ve boş bırakılanlar, birden fazla işaretlenenler ve yanlış cevaplandırılanlar 0 ile puanlanır. · Öğrencilerin vermiş oldukları doğru cevap sayıları ile test puanları bulunur. · Test puanlarına göre öğrenci cevap kağıtları en yüksek puandan en düşük puana doğru sıraya konulur. · Test puanı en yüksek olan grubun %27’si ile en düşük puanı alan grubun %27’si alınarak oluşturulan gruplara sırasıyla üst grup ve alt grup adları verilir. Grubun ortada kalan, yani geride kalan %46’sı ise analiz dışında tutulur. 5. Testte bulunan bütün sorular için bir tablo düzenlenir. · Öğrencilerin verdikleri cevaplara göre madde özellikleri hesaplanır. Madde özelliklerinden güçlük indeksi aşağıdaki formül ile hesaplanır.

  Hesaplanan güçlük indeksi bir yüzde değeri olduğundan 0,00 ile 1,00 arasında bir değer alır. Güçlük indeksinin 1,00’a yaklaşması, hem üst grupta ve hem de alt grupta öğrencilerin soruyu çoğunlukla doğru cevapladığını, dolayısıyla kolay bir soru olduğunu gösterir. Güçlük indeksinin 0,00’a yakın çıkması ise soruyu doğru cevaplayanların her iki grupta da az olduğunu, bu ise, sorunun zor olduğunu gösterir. Bulunan indeksin, 0,50 civarında olması ise sorunun orta güçlükte olduğunu belirtir. Soruların orta güçlükte olması güvenirliği artırıcı rol oynadığından, nihai test için daha çok orta güçlükteki soruların seçilmesi gerekir.

 Madde ayırıcılık gücü indeksi, test ile ölçülen yetenek açısından üst ve alt diye iki farklı gruba ayrılan öğrencileri birbirinden ayırabilme derecesini göstermektedir. Üst ve alt grupta maddeyi doğru cevaplayanların sayıları arasındaki fark arttı- ğı ölçüde, maddenin ayırıcılığı artmaktadır. Farkın kapanması ise, madde ayırıcılı- ğını düşürmektedir. Güvenilir bir test ayırıcılığı yüksek maddelerden oluşan testtir. Bir testin güvenirliğini artırmanın yolu ayırıcılığı yüksek olan maddeleri seçmekle sağlanabilir.

 İyi bir test maddesinin aşağıdaki özelliklere sahip olması istenilir.  · Güçlük indeksinin 0,50 (orta güçlükte) olması, · Ayırıcılığının mümkün olduğunca yüksek olması (1,00’a yakın olması), · Doğru cevabın üst grupta daha çok öğrenci tarafından cevaplandırılmış olması, · Çeldiricilerin alt grupta daha çok öğrenci tarafından cevaplandırılmış olması ve · Çeldiricilerin hepsinin de aynı sayıda ya da birbirine yakın sayıda cevaplayıcı çekmiş olması istenir. HENRYSSON YÖNTEMİ

 Henrysson yöntemi ile madde analizinde, yukarıda da belirtildiği gibi, testi cevaplayan bütün öğrencilerin vermiş oldukları cevaplardan yararlanılır. İki yöntemle elde edilen madde özellikleri birbirinin aynı sonuçlar vermeyebilir. Testin uygulandığı öğrenci sayısı arttığı ölçüde her iki yöntemle elde edilen madde özellikleri arasındaki fark azalır. Henrysson yöntemi diğerine göre daha fazla işlem gerektirdi- ğinden el ile yapılması daha güçtür. Ancak, bilgisayar gibi elektronik araçlarla analiz yapmak mümkün ise bütün cevap kağıtlarının kullanıldığı Henrysson yöntemi tercih edilmelidir.

  · Öğrenci cevapları, satırlarda öğrenciler ve sütunlarda maddeler olmak üzere bir matrise aktarılır. Bu matrise, madde puanları matrisi adı verilir. · Her sütundaki cevaplar, doğru cevapla karşılaştırılarak, öğrencilerden kaç tanesinin soruları doğru cevapladığı bulunur. Her sorunun kaç öğrenci tarafından doğru cevaplandırıldığını gösteren sayıya (Ij)madde puanı denir. · Satırlarda yer alan öğrenci cevapları, doğru cevaplarla karşılaştırılarak her doğru cevap için 1 ve diğer cevaplar ve boş bırakılanlar için 0 puan verilerek test puanları (Xi) bulunur. · Test puanlarının aritmetik ortalaması ve standart kayması aşağıda verilen formüllerden yararlanılarak bulunur. · Madde istatistiklerinden güçlük indeksi ve ayırıcılık gücü indeksi formüllerle hesaplanır. · Maddelerin güçlük indeksi ile ayırıcılık gücü indeksine ve çeldiricilerin çalı- şıp çalışmadığına bakılarak nihai test için madde seçimi yapılır. Nihai teste madde seçerken özellikle ayırıcılık gücü indeksi 0,30’dan büyük maddeler dikkate alınmalıdır.

 Bir testin güvenirliğini, testin standart kayması etkiler. Standart kayma büyü- dükçe testin güvenirliği artma eğilimi gösterir. Bu nedenle güvenirliği yüksek maddeleri seçmek, testin standart kaymasını artırır. Standart kaymasının artması ise testin güvenirliğini artırır. Nihai testin güvenirliği daha önceden belirtilen ve testin bir kez uygulanması ile elde edilen KR-20 yöntemi ile nihai teste seçilen maddelerden yararlanarak hesaplanabilir. Hesaplama formülü önceden verilen formülle aynı olmakla beraber, formülde kullanılan bazı değerlerin, nihai test için kestirilen değerler oldu- ğu unutulmamalıdır. Nihai testin güvenirliğini kestirmede aşağıdaki formül kullanılır. Formülde verilen K, nihai testi oluşturan madde sayısını, (pj qj )=sj 2 nihai teste alınan maddelerin varyanslarını ve sj 2’de nihai test için kestirilen test varyansını göstermektedir.

  Nihai testin geçerliliğinin kestirilmesi, madde analizi aşamasında, madde ge- çerliliklerinin hesaplanmasına bağlıdır. Uygun bir ölçüt bulunduğunda madde puanlarının ölçüt ile korelasyonu ile madde geçerlilikleri hesaplanabilir. Nihai teste seçilen maddelerin geçerlikleri toplamının maddelerin ayırıcılıkları toplamına bö- lünmesi ile nihai testin geçerlik katsayısı kestirilebilir.

  Öğrenciler hakkında doğru karar verme, kullanılan bilgilerin (ölçme sonuçları- nın) öğrenci başarılarını ne derecede yansıttığına bağlıdır. Ölçme sonuçları, sonuçlardaki hata miktarı azaldıkça öğrenci başarısını daha iyi temsil eder. Hata miktarı arttıkça, ölçme sonucu öğrenci başarısını daha az temsil eder. Ölçme sonuçlarındaki hata, ölçmede kullanılan araçla birlikte, ölçme ortamına, öğrenciye, ölçmeyi yapan kişiye bağlı olarak ta değişir. Ölçme aracı dışındakiler, biraz dikkat edilirse, minimum düzeye çekilebilir. Ölçme aracından kaynaklanan hatalar ise iyi bir ölçme aracı hazırlamakla azaltılabilir. İyi bir ölçme aracı hazırlamak, soru yazma tekniklerini bilmeyi, deneyimi ve konu alanını iyi bilmeyi gerektirir. Bununla birlikte, hazırlanan bir testi uygun bir öğrenci grubuna uygulamak suretiyle de iyi bir test geliştirilebilir. Test geliştirme tekniklerinden yararlanarak, geliştirilen testlerle yapılan ölçmelerdeki hata miktarı azalacak ve bu ölçme sonuçları kullanılarak yapılan kararlarda isabetlilik sağlanmış olacaktır.

Cevap: Aynı özelliği ölçmeye yönelik verilen üç maddeden iki numaralı olanın seçilmesi uygun olur. Çünkü bir numaralı maddenin güçlük düzeyi orda düzeyde olmasına rağmen ayırıcılık gücü düşüktür. Üç numaralı  maddenin ise ayırıcılık gücü indeksi en iyi olmasına rağmen güçlük düzeyi çok kolaydır. Kolay bir test yapılmak istenildiğinde bu madde seçilebilir. Ancak bu maddenin teste alınması varyansını küçülteceği için güvenirliğini de düşürebilir. İki numaralı madde ise hem orta güç- lükte sayılabilecek bir özelliğe sahip hem de ayırıcılık gücü indeksi kabul edilebilir niteliktedir. Bu nedenle iki numaralı maddenin seçilmesi daha uygundur.