Ünite 8: Farkındalık Oluşturma Eğitimlerinin Değerlendirilmesi

Giriş

Eğitim programlarının önemli bir bileşeni değerlendirme sürecidir. Genel olarak değerlendirme süreci, önceden belirlenmiş hedefler doğrultusunda veri toplama ve bu verileri belirlenmiş standartlar ile karşılaştırarak karar verme süreci olarak tanımlanmaktadır.

Eğitim kurumları ve organizasyonlar eğitime yaptıkları yatırımların sonuçlarını görmek ve bu sonuçlara göre insan kaynakları, donanım, zaman ve finans gibi kurumsal temel bileşenlerine yönelik strateji geliştirmek isterler. Tüm bu sonuçlara ölçme ve değerlendirme uygulamalarıyla ulaşılabilir.

Ölçme ve değerlendirme uygulamalarının gerçekten etkili olabilmesi için tüm bileşenleri kapsaması gerekmektedir. Sadece belirli bölümlerin; örneğin eğitimi alan kişilerin öğrendiklerinin, eğitimcinin yeterliliklerinin ya da programın başarısının değerlendirilmesi bütün hakkında ayrıntılı fikir vermeyebilir.

Eğitim Etkinliğinin Sonuçlarının Ölçülmesi ve Değerlendirilmesi

Uygulamada ve planlamada eğitimin etkili olabilmesi için izlenmesi gereken 10 temel aşama bulunmaktadır. Bunlar sırasıyla;

1. İhtiyaçların belirlenmesi.
2. Amaçların yazılması.
3. İçeriğin belirlenmesi.
4. Hedef kitlenin seçimi.
5. Eğitim programının yapılması.
6. Olanakların sağlanması.
7. Eğitmenin seçimi.
8. Görsel-işitsel araçların seçimi ve hazırlanması.
9. Program koordinasyonu.
10. Programın değerlendirilmesidir.

Eğitim etkinliğinin ölçülmesi ve değerlendirilmesi, eğitimin amaçlarının gerçekleşme düzeyinin, elde edilen faydaların, eğitimin değerinin, eğitimin geliştirme olanaklarının ve eğitim sorumlularının performanslarının değerlendirilmesi için yapılan sistematik bir çalışmadır. Bu çalışma acil durum ve afet farkındalık eğitimlerinde de sistematik bir şekilde uygulanmalıdır.

Bir acil durum ve afet eğitim programının etkili olmasında, program geliştirme sürecinde katılımcıların ihtiyaçlarının belirlenmesi çok önemlidir. Geliştirilen eğitim programının işlevselliği ihtiyaçlara ne düzeyde yanıt verdiğiyle doğru orantılıdır. Örneğin ülkemizde sıklıkla deprem yaşanan bir bölgede verilecek eğitimlerin içeriği afet öncesi zarar azaltma ve hazırlıklı olma ve afet sonrasında müdahale ve iyileştirme olarak planlanabilir.

İhtiyaç belirlemede nicel ve nitel araştırma yöntemleri kullanılmaktadır. Nitel araştırmalarda (görüşme, sürece katılım) daha detaylı bilgiler elde edilebilmesine rağmen zaman alması nicel araştırmaların daha çok tercih edilmesini sağlar. Temel bir anket formu bu bağlamda hem kısa bir zaman diliminde hem de yeterli bilgi toplama açısından faydalı olacaktır.

Eğitim Etkinliğinin Ölçülmesi ve Değerlendirilmesinde Kullanılan Modeller

Eğitim etkinliğinin ölçülmesine ilişkin çok sayıda farklı model bulunmaktadır. Bu modellerden özellikle günümüze kadar insan kaynakları yönetimi literatüründe yaygın kabul görmüş, süreç ve sonucu merkeze alarak değerlendirmenin tüm bileşenlerini inceleyen Kirkpatrick Dört Aşamalı Değerlendirme modeli ele alınmıştır.

Değerlendirme modeli Donald Kirkpatrick tarafından geliştirilmiştir. Kirkpatrick’in modeli hedef temelli bir yaklaşım benimser. Bu modelde eğitim programları her biri bir öncekinin ardından gelen hiyerarşik dört temel düzeyde bulunmaktadır. Bunlar;

• Tepki (Reaksiyon).
• Öğrenme.
• Davranış (Transfer).
• Sonuçlar (Etki).

Katılımcıların eğitim programından hoşnut kalıp kalmadıklarına, öğretimi açık ve yararlı bulup bulmadıklarına, program ya da eğitim içeriğini öğrendiklerine inanıp inanmadıklarına ilişkin tepkilerini belirlemek gerekir. Bu tepkiler programın içeriğinden, programın yapısına ve biçimine; öğretim yöntem ve tekniklerinden, öğreticinin yeterliliğine ve öğretim tarzına; öğrenme çevresinin niteliğinden eğitimin amacına ulaşıp ulaşmadığına ve kursun daha iyi yürütülmesine ilişkin önerilere kadar birçok konuyu kapsamaktadır.

Eğitiminde değerlendirme yapmanın en önemli nedeni gelişimi ve öğrenme deneyimini desteklemektir. Değerlendirme sadece not vermek ya da düzey belirlemek için yapılmaz. Değerlendirme sonuçlarının öğrenme sürecini iyileştirmek için kullanılması gerekir.

Afet yönetimi ile ilgili yapılan çalışmalarda da mutlaka değerlendirme yapılmalıdır. Bu tür değerlendirmeyle eğitim programına katılanların ölçüm yapılan zaman diliminde neleri bildiğini belirleriz, bundan sonra neleri öğrenmeleri gerektiğine karar veririz ve başta konulan amaç ve kazanımlara hangi düzeyde erişildiğine ilişkin geribildirim oluştururuz.

Değerlendirmeyle öğretim programındaki kazanımlara hangi düzeyde ulaşıldığı belirlenir. Bu kazanımlar da her ülkenin ilgili kurumları tarafından (örneğin; Afet Koordinasyon Merkezi - AKOM) sahip olması beklenen ülke standartları doğrultusunda belirlenir.

Kirkpatrick’e göre, davranışta değişikliğin olabilmesi için 4 şart gereklidir. Bunlar:

1. Kişi değişme arzusuna sahip olmalıdır.
2. Kişi neyi ve nasıl yapacağını bilmelidir.
3. Kişi uygun ortamda çalışmalıdır.
4. Kişi değişim gösterdiği için ödüllendirilmelidir.

Davranış değerlendirme, ilk iki aşama olan tepki ve öğrenmeyi değerlendirmeye göre daha zor ve karmaşıktır. Çünkü öncelikle katılımcıların davranış değişikliği göstermek için uygun bir fırsat bulmaları gerekmektedir. Ayrıca, davranışta bir değişikliğin ne zaman meydana geleceğini tahmin etmek imkânsızdır.

Davranış değerlendirmesi düzeyinde adından da anlaşılacağı üzere en sık kullanılan veri toplama yöntemi gözlemdir. Eğitimlere katılan bireylerin daha sonra gerçek yaşam ortamlarında eğitimin içeriğine ilişkin nasıl davranışlar sergilediklerini belirlemek için kullanılabilecek en etkili yöntemlerin başında gözlem gelmektedir.

Acil durum ve afet farkındalık eğitimlerinin önemli bir hedef kitlesinin de çocuklar olduğu düşünüldüğünde, çocukların gelişimsel düzeylerine en uygun ölçme yöntemi olarak da gözlem karşımıza çıkmaktadır. Özellikle çocuklarla çalışılırken gözlem yönteminin veri toplama aracı olarak kullanılması önerilmektedir.

Çocuklarla ya da yetişkinlerle gerçekleştirilen bir gözlem sırasında kullanılabilecek ya da gözlem sonuçlarını kaydetmek için yararlanılabilecek farklı yollar ve araçlar bulunur. Öğretmenler ya da program eğitmenleri gün içindeki gözlemlerini anekdot kaydı, değerlendirme tablosu ve derecelendirme ölçeği gibi araçlar kullanarak kaydedebilir. Bu araçlardan bazıları geliştirme aşamasında bazıları da kullanım aşamasında öğretmenin daha fazla vakit ayırmasını gerektirir.

Anekdot bir bireyin yaşamındaki kayda değer olaylara ilişkin yapılan gözlemleri betimlemek üzere alınan kısa notlardır. Örneğin, bir çocuk ilk defa bir deprem simülatörü etkinliğine katıldığında bulunduğunda, öğretmen ya da gözlemci sürece ilişkin gözlemini bir anekdot kaydı doldurarak belgeleyebilir. Anekdot kaydı için her zaman çok kritik veya sıra dışı bir olayın gerçekleşmesi beklenmeyebilir. Anekdot kayıtları için farklı kaynaklar olay kaydı ya da vak’a kaydı olarak da adlandırmaktadır.

Sistematik gözlem formları, bireyin belirli bir alandaki gelişimini izlemek için önceden tasarlanmış, planlı gözlem sonuçlarının tutulduğu değerlendirme araçlarıdır. Anekdot kayıtlarından farklı olarak, sistematik gözlem formlarını tutmak düzenli ve planlı bir süreç gerektirir.

Denetim ya da kontrol listesi belli bir zamanda bireyde gözlemlenmesi önemli olan belirli beceri, davranış, strateji, süreç veya tutumların sıralandığı listeleridir. Gözlemci, belirlenen davranışları gözleme fırsatı bulduğu anda veya sonrasında denetim listesinde bulunan ifadeleri işaretler.

Değerlendirilmek istenen davranış, özellik veya becerinin düzeylerini belirlemek için kullanılan gözleme dayalı araçlara derecelendirme ölçeği adı verilir. Değerlendirilmek istenen özelliğin farklı düzeyleri bir başka deyişle dereceleri olduğundan bu ölçme aracın adı derecelendirme ölçeği olarak belirlenmiştir. Aynen denetim listelerinde olduğu gibi, derecelendirme ölçeklerinde de gözlem sonuçları sayısal verilere dönüştürülebilir.

Değerlendirme tablosu (rubrik) bir davranış ya da ürünün farklı düzeylerini/derecelerini betimsel olarak değerlendirmek amacıyla kullanılan gözleme dayalı bir araçtır. Derecelendirme ölçeğinde olduğu gibi değerlendirme tablosunda da bir duruma, beceri ya da ürüne ilişkin farklı düzeyleri yansıtan açıklamalar bulunur. Ancak aralarındaki en temel fark, düzeylerin sayısal olarak değil ayrıntılarıyla betimlenerek nitel bir biçimde belirtilmesidir.

Ölçülmek veya gözlemlenmek istenilen özellik, davranış veya becerinin ölçülüp ölçülmediği gözlem ya da aracın geçerliğini yansıtır. Bu konuda üç tür geçerlilikten söz edilebilir: Kapsam, Yapı ve Ölçüt geçerliği.

Gözlemcinin ölçmek ve gözlemek istediği özelliği gerçekte gözleyip gözlemediği, bir diğer deyişle gözlem notlarının veya kayıtların amaçlanan konuyu yansıtma derecesi aracın kapsam geçerliğini ifade eder. Yapı geçerliği ise ölçülmek istenen özelliğin doğru ve yeterli biçimde ölçülebilme gücünü ifade eder.

Değerlendirmeci, programı katılımcı ile gözden geçirip, görüşmenin amacının mevcut programın gelecekte geliştirilebilmesi için neler yapılabileceğini tespit etmek olduğunu açık bir şekilde ifade etmelidir. Özellikle, katılımcının programda öğrendiklerini ne ölçüde uyguladığı, uygulamadıysa bunun nedenleri tespit edilmeye çalışılmalıdır. Katılımcıya görüşmenin gizli tutulacağı, cevaplarını açıkça ve dürüst bir şekilde ifade edebileceği bildirilmelidir.

Anket araştırması daha pratik olabilir ve eğer doğru bir şekilde tasarlanırsa davranış değişikliğini değerlendirmek için ihtiyaç duyulan bilgiyi sağlayacaktır. Anket tasarımında dikkat edilmesi gereken belli başlı hususlar şunlardır:

• Anketin konusu, amacı, anketi cevaplayacak olanların nitelikleri ve aşamaları tespit edilmeli,
• Cevaplama güvenliğini ve katılım oranını yüksek tutmak için anketin amacı ve elde edilecek bilgilerin nerede kullanılacağını belirten bir açıklama konulmalı,
• Sorular gruplandırılmalı genelden özele doğru sınıflandırılmalı,
• Anketin uzunluğu cevaplayanın fazla süresini almayacak şekilde ayarlanmalı, her soru incelenen konu ile ilgili olmalı, açık ve anlaşılır bir dille yazılmalıdır.

Sonuç Değerlendirme en önemli ve belki de en zor aşamadır. Bu aşamada katılımcının eğitim programında bulunmasından dolayı hangi sonuçların ortaya çıktığına karar verilir. Bu aşamada eğitmenler aşağıdaki gibi soruları göz önünde bulundururlar:

• Katılımcıların acil durum ve afet yönetimi eğitimini almaları afetlere hazırlık açısından birey ve kurumların hazırlığını ne ölçüde artırdı?
• İş yerinde yaşanan acil durum vakaları ne ölçüde azaldı?
• Bir yılın sonunda acil durumlarda gerçekleşen iş gücü kaybı ne kadar azaldı?
• İş gücü kaybındaki azalmadan dolayı elde edilen kazanç ne kadardır?
• Tatbikatlardaki başarı oranı arttı mı?
• Daha az tatbikat ihtiyacından dolayı elde edilen kazanç ne kadardır?
• Eğitimlerden sonra yaşanan ilk afet durumunda personelin/aile bireylerinin davranışları uygun muydu?
• İş yerinde/evde tehlike yaratacak risklerde ne kadar azalma oldu?
• Kış fırtınalarında otomobillerin hazırlıklı olmamasından dolayı yaşanan kaza ve yolda kalmalarda ne kadar azalma oldu?
• Eğitimlerdeki yatırımın getirisi nedir?

Kirkpatrick’in 1959 yılında ortaya koyduğu model günümüze kadar özellikle de James Kirkpatrick ve Wendy Kirkpatrick’in çalışmalarıyla güncelliğini korumaktadır. James ve Wendy Kirkpatrick model için bir şirket kurmuşlardır ve gerek eğitim alanında gerekse kurumsal alanda hizmet vermektedirler.

Modelin yaygın bir şekilde kullanılmaya başlamasıyla popülerliği arttırmıştır ve 1980li yıllarda, Dr. Jack J. Philips Kirkpatrick modeline, “Yatırımın Getirisi” (ROI – Return of Investment) aşamasını eklemiştir.

Günümüzde Kirkpatrick’in dört aşamalı modeli yerine Philips’in ROI modeli daha yaygın bir bilinirliğe sahiptir. Kirkpatrick modelin orijinal halinde, Philips’in ileri sürdüğü değerlendirmelerin ve karşılaştırılmaların yapılmamasını söylememiştir. Bu yüzden ilgili tartışmalar halen devam etmektedir.

James ve Wendy Kirkpatrick 2011 yılında özellikle Philips’in ROI modeline karşılık olarak “Beklentilerin Getirisi” (ROE – Return of Expectations) Kirkpatrick modeline yeni bir yaklaşım ve yorum getirmişlerdir.