Ünite 7: Eğitim Sonuçlarının Değerlendirilmesi

Giriş

İşletmeler, insan kaynaklarının eğitim gereksinimlerine göre tasarımladıkları, geliştirdikleri ve uyguladıkları eğitim programlarının çıktılarını ölçmek ve sonuçlarını değerlendirmek isterler. Eğitim sonuçları ölçülmezse, eğitimin başarılı ya da başarısız olduğu bilinemez. Yönetim uzmanları da, ölçülemeyen bir şeyin yönetilemeyeceğini belirtmişlerdir. Bu nedenle, eğitimlerin etkinliğinin ölçülmesi büyük önem taşımaktadır.

Eğitim kapsamında önceden belirlenen amaçlara ve hedeflere ne ölçüde ulaşıldığını ortaya koymak amacıyla yürütülen tüm uygulamalar, eğitimin değerlendirilmesi süreci içinde yer almaktadır. Eğitim sonuçlarının ölçülmesi ve değerlendirilmesi, belirlenen amaçlara ulaşıp ulaşılmadığı, varsa aksaklıkların nerelerde olduğunun ortaya çıkarılması ve sonraki eğitim uygulamalarının daha iyi yürütülmesine yardımcı olacaktır.

Eğitimde Ölçme ve Değerlendirme

Ölçme,bireylerin ya da nesnelerin herhangi bir özelliğe sahip olup olmadığını, sahipse ne derece sahip olduğu belirlenerek sonuçların simge, sıfat ya da sayılarla ifade edilmesidir. Doğrudan ya da dolaylı olarak gözlenebilen her şey ölçülebilir.

Ölçülecek özellik somut olarak doğrudan gözlenebiliyorsa ve bu özellik, ölçmede kullanılan aracın niteliğiyle aynı ise buna doğrudan ölçme denir. Örneğin; bireyin ağırlığı, boy uzunluğu ve eğitimlere katılım sıklığı gibi fiziksel özellikler doğrudan ölçülebilir.

Dolaylı ölçmede,ölçülecek özellik doğrudan değil de kendisiyle ilgili olduğu kabul edilen başka bir değişken gözlenerek ölçülür. Bireyin zekâsı, kişiliği, eğitime karşı olan tutumu ve güdülenmesi gibi psikolojik özellikler dolaylı olarak ölçülebilen özelliklere örnek olarak gösterilebilir.

Değerlendirme,ölçme sonuçlarının bir ölçütle karşılaştırılarak ölçülen özellik hakkında karar verme sürecidir. Ölçme, değerlendirmenin ön koşuludur. Başka bir deyişle, değerlendirme yapabilmek için gerekli bilgiyi ölçme sağlamaktadır. Ölçme işleminin sonucu, tek başına değerlendirme yapmaya olanak sağlamaz. Ölçme sonucunun anlamı olabilmesi için mutlaka onun bir ölçütle karşılaştırılması gerekmektedir. Örneğin, işletmelerde eğitim programlarını belirli amaçlar doğrultusunda gerçekleştirir ve sonucunu ölçeriz. Bu sonucu (ölçüm), işletmenin hedeflerine (ölçüt) göre yeterli ya da yetersiz gibi yorum yapma bir karar verme (değerlendirme) sürecidir.

Eğitim Sonuçlarının Değerlendirilmesi

İşletmelerde eğitim programları planlanırken;

• Çözümleme,

• Tasarımlama,

• Geliştirme,

• Uygulama ve

• Değerlendirme aşamaları özenle yürütülmelidir.

Çözümleme, örgütsel ve bireysel gelişimlerine yanıt verecek eğitim gereksinimlerinin belirlenmesi, hedeflerin saptanması, olanakların gözden geçirilmesi ve önceliklerin belirlenmesi aşamasıdır.

Tasarımlama, saptanan gereksinimleri karşılayacak eğitim amaçlarının belirlenmesi, öngörülen yeterlikleri kazandıracak içeriğin düzenlenmesi, öğretim yöntemlerinin seçilmesi, öğretim stratejilerinin geliştirilmesi ve amaçlara ulaşma düzeyini değerlendirmeye yönelik ölçme araçlarının hazırlandığı aşamadır.

Geliştirme, öğretme-öğrenme süreçlerinde kullanılacak olan materyallerin tasarımının yapıldığı aşamadır.

Uygulama aşaması, eğitimlerin sağlıkla yürütülebilmesi için gerçekleştirilecek olan uygulamanın planlanması aşamasıdır.

Değerlendirme aşaması ise, eğitimlerin uygulamada sınanmasına ilişkin çalışmalar ve bu çalışmalardan elde edilen geribildirime dayalı olarak verilen kararlardır. Başka bir deyişle değerlendirme, katılımcıların eğitimden memnuniyet düzeyinin, edinilen bilgi ve beceri değişikliklerinin ve örgütsel kazanımların belirlenmesi aşamasıdır.

Değerlendirmenin Zamanlaması: Değerlendirmenin ne zaman yapılacağı işletmenin hedefleri ya da insan kaynakları ve eğitim bölümünün amaçlarıyla yakından ilişkilidir.

Ön değerlendirme (pretraining evaluation),gereksinimlerin ya da verilecek olan eğitimde önkoşul olabilecek bilgi ve becerilerin belirlenmesine ilişkin kararlar alabilmek için yapılmaktadır.

Ara değerlendirme (formative evaluation),geliştirilen eğitim uygulanmadan önce test etmek için yapılmaktadır.

Son değerlendirme (summative evaluation),eğitimin gelecekteki kullanımına ilişkin kararlar oluşturmak için yapılmaktadır.

İzleme değerlendirmesi(follow-up evaluation),eğitimlerin uzun dönemli etkilerini araştırmak için yapılmaktadır.

Değerlendirme Yaklaşımları: Günümüzde kullanılan pek çok değerlendirme yaklaşımlarının başlangıcı, öğretim tasarımının sistematik kuramlarına dayanmaktadır. Bu yaklaşımlarda daha çok amaca dönük değerlendirme yöntemlerinden biri olan Kirkpatrick Değerlendirme Modeli kullanılmaktadır.

Donald Kirkpatrick tarafından 1959 yılında geliştirilmiş bu modelde, hiyerarşik olarak betimlenen, katılımcıların; tepkisinin, öğrenme miktarının, iş yaşamındaki davranışlarının ve gözlenen etkisinin ölçüldüğü dört aşamalı bir değerlendirme modeli sunulmuştur. Ancak Phillips, bu modelde eğitim yatırımının geri dönüşünün hesaplanmadığını belirterek modele beşinci aşama olan eğitim yatırımının getirisi aşamasını ekleyerek kendi modelini geliştirmiştir.

Amerikan Eğitim ve Geliştirme Derneği’nin sonuçlarına göre ise, dört aşamalı Kirkpatrick Değerlendirme Modeli’ne eklenen Phillips’in beşinci aşaması ile oluşturulan beş aşamalı Kirkpatrick/Phillips Değerlendirme Modeli’nin uygulamada en çok kullanılan değerlendirme yaklaşımı olduğu belirtilmiştir. Kirkpatrick/Phillips’in Beş Aşamalı Değerlendirme Model’inde yer alan aşamalar ve açıklamaları aşağıda sırasıyla kısaca açıklanmıştır.

Tepkinin Değerlendirilmesi:Katılımcıların uygulanan eğitime ilişkin görüş ve düşünceleri belirlenir. Bu bilgiler, katılımcıların eğitimin hemen sonrasında doldurdukları ölçeklerle ya da anketlerle elde edilir. Kullanılan veri toplama araçları; konu uzmanının yeterliğine, içeriğe, yönteme, materyale, ortamına, süresine ve genel olarak eğitime ilişkin katılımcıların görüşlerini ölçen maddeler içermektedir. Katılımcıların eğitim programına istekli katılıp katılmadıkları, beklentilerinin karşılanıp karşılanmadığı ya da eğitimin yararlı olacağına inanıp inanmadıkları gibi düşünceleri de değerlendirilir.

Öğrenmenin Değerlendirilmesi:Bu aşamada, eğitimin amaçları doğrultusunda katılımcıların ilke, teknik ve süreçleri ne oranda öğrendiklerini belirleyen bilişsel sonuçlar ortaya çıkmaktadır. Katılımcıdan beklenen, öngörülen bilgi ve becerilerin öğrenilmesidir. Bu miktar ne kadar fazla ise eğitim de amacına o kadar ulaşmış sayılmaktadır. Bu değerlendirme sonucunda katılımcıların hangi konuları iyi öğrendikleri, hangi konularda yetersiz oldukları da saptanabilir.

Davranışların Değerlendirilmesi:Bilgi, beceri ve davranış değişiklikleri ve bunların kullanım biçimlerinin ve sıklıklarının ölçüldüğü bu aşamada genellikle eğitim öncesi ve sonrası performans farklılıkları değerlendirilir. Bu amaçla davranış değerlendirmesi, eğitim etkinliğinden belli bir süre sonra katılımcıların kendisi, üstleri ya da astları ile anket, gözlem ve görüşmelerle yapılmaktadır. Bunun için en uygun yöntem 360 derece geribildirim sisteminin kullanılmasıdır. Bu değerlendirmenin sonuçları eğitimlerin etkililiğiyle ilgili veri sağlamaktadır.

Sonuçların Değerlendirilmesi:Uygulanan eğitim programının işletmenin hedeflerine ulaşıp ulaşmadığının değerlendirilmesidir. Sonuca dönük değerlendirmede, eğitim sonrası kâr, satışlar, müşteri memnuniyeti, şikâyetler, kazalar, kalite ve devamsızlık gibi konuların etkileri değerlendirilir. Sonuç raporu; üretimin arttığı, kalitenin iyileştirildiği, kazaların sıklığında azalma olduğu, satışların ve kârın arttığı gibi konuları içermelidir. Bu aşamada eğitim programının etkililiği ölçülür. Eğitimin etkililiği, işletmenin ve eğitime katılan iş görenlerin eğitimden gördüğü yararı ifade etmektedir.

Eğitim Yatırımının Değerlendirilmesi:Jack Phillips, eğitimin sonucunun parasal değeriyle eğitim programının maliyetini karşılaştırdığı beşincive son aşamayı eklemiştir. Bu aşamada, eğitim programı sonucunda oluşan yararlarla, eğitim programının maliyeti karşılaştırılır ve sonuçta eğitim yatırımının kârlılığı, yüzde ya dafayda/maliyet oranı olarak ifade edilir.

Phillips, uygulanan eğitim programının etkilerinin öteki etkilerden ayrılması boyutunda kullanılabilecek bazı yaklaşımlar önermiştir. Bunlar; kontrol grubunun kullanılması, eğilimlerin çözümlenmesi, tahmin modelleri, üst yönetimin, katılımcıların ve onların yöneticilerinin tahminleri, müşterinin, uzmanın ve astların görüşlerinin alınmasıdır.

Değerlendirme Ölçütleri: Eğitim sonuçlarının değerlendirilmesi sürecinde hangi aşama kullanılırsa kullanılsın, işlevsel bir değerlendirme yapabilmek için uyulması gereken bazı temel ölçütler bulunmaktadır. Bunlar;

• Kullanışlılık,

• Yapılabilirlik,

• Uygunluk ve

• Doğruluk olmak üzere dört başlık altında aşağıda kısaca açıklanmıştır.

Kullanışlılık:Uygulanan eğitim programlarının sonuçlarını elde etmek isteyen bölümün ya da bireylerin gereksinimlerini karşılamaya dönük bilgilerin üretilmesidir. Kullanışlılık ölçütü; değerlendirmecilerin değerlendirme raporunu isteyen bölümü ve bireyleri iyi tanıması, onların gereksinim duyduğu bilgileri belirlemesi, güvenilir olması, topladığı bilgileri zamanında ve anlaşılır bir dille raporlamasını kapsamaktadır. Bu ilkeler uygulandığında değerlendirme, bilgi verici ve gelecekteki kararlarda etkili olabilmektedir.

Yapılabilirlik:Bu ölçüt, değerlendirmenin etkinliğini ve verimliliğini artırmayı amaçlamaktadır. Değerlendirme gerçekçi, tamamlanabilir ve ekonomik olmalıdır. Amaçlara ulaşabilmek için pratik olmalı ve gereğinden fazla kaynak kullanılmamalıdır. Bireylerin ve bölümlerin gereksinimleri doğrultusunda, onların politik ve kültürel çıkarları arasında denge göz ardı edilmemelidir. Bunun için ilgili her kesimden bilgi toplanmalı ve ekonomik olarak maliyeti düşük tutmaya özen gösterilmelidir.

Uygunluk:Bu ölçüt değerlendirmenin, katılımcılara zarar vermeyecek biçimde yasal ve ahlaki ilkeleri göz önünde bulundurarak yürütülmesidir. Değerlendirme sonuçlarından pek çok kişi etkilenebilir. Bunun için baştan tarafların sorumlulukları üzerinde uzlaşılmalı, çıkar çatışmaları açık biçimde ele alınmalı, etik kurallara bağlı kalınmalı, bulgular açıklanmalı ve dürüstçe raporlaştırılmalı ve mali sorumluluklar yerine getirilmelidir.

Doğruluk:Doğruluk ölçütü, değerlendirme sonuçlarını gerçeğe uygun ve güvenilir biçimde olduğu gibi yansıtılmasını amaçlamaktadır. Bunun gerçekleşmesi için değerlendirmenin kapsamlı olması, geçerli ve güvenilir ölçümlerle veri toplaması, yorumların bulgulara dayanması ve raporlaştırmanın nesnel olması gereklidir. Başka bir deyişle, doğruluk, değerlendirmenin gerçeği olduğu gibi ortaya koyması ve eğitimin değerini tam olarak yansıtması gerekmektedir.

Değerlendirme Sürecinin Aşamaları

Değerlendirme sürecini iyi yönetebilmek için değerlendirme sürecine karar verdiğimiz andan itibaren sonuç raporunun yazılmasına kadar geçen süreçte izlenmesi gereken birtakım basamakları göz önünde bulundurmak gerekmektedir (S:152, Şekil 7.2). Bunlar;

• Değerlendirmeye karar verilmesi,

• Tasarımlanması,

• Verilerin toplanması,

• Verilerin çözümlenmesi ve yorumlanması ile

• Raporlaştırmasıdır.

Hiyerarşik biçimde ilerleyen bu aşamalar etkili biçimde uygulanırsa, değerlendirme sonucu da o kadar kullanışlı ve uygulanabilir olabilecektir.

Tasarımlama:Değerlendirme sürecinde ilk adım, yapılacak etkinliklerin planlanmasının oluşturulduğu tasarım aşamasıdır. Bu aşamada eğitimin etkililiğini belirlemek için gerekli olan bilgilerin kim tarafından, ne kadar, ne zaman, hangi araçla toplanacağı, istatistiksel olarak nasıl çözümleneceği ve nasıl değerlendirileceği belirlenmelidir. İyi tasarımlanmış bir değerlendirme, çalışma zamanı ve maliyeti en uygun düzeyde tutarak, ortaya çıkan bulgular ve önerilerin gücünü artırmakta ve sonuçlar üzerindeki olası tehditleri azaltarak değerlendirme kalitesini en üst düzeye çıkarmaktadır.

Verilerin Toplanması: Değerlendirme, öğretim amaçlarının ne oranda gerçekleştiği konusunda sistematik olarak verilerin toplanması, işlenmesi, çözümlenmesi ve yorumlanması sürecidir. Verilerin toplanması aşamasında, değerlendirmenin tasarımında seçilen ve uygulanan iş planları doğrultusunda ne tür bilginin, ne zaman, kimlerden toplanacağı ve toplanan bilgilerin nasıl değerlendirileceği kararlaştırılır.

Veri Toplama Araçları: Değerlendirmenin önemli bir boyutu veri toplama araçlarının geliştirilmesidir. Bu araçlar yardımıyla, öğretim amaçlarına ne oranda ulaşıldığı konusunda geribildirim almaya çalışılmaktadır. Bu aşamada, öncelikle gözlem sonuçlarını sayısallaştırmaya yönelik ölçme işlemleri yapılır. Sonrasında ölçme sonuçlarına dayalı olarak belirli değer yargıları oluşturulur. Değerlendirmeci, kendi geliştireceği ya da daha önceden geliştirilmiş çeşitli veri toplama araçlarından yararlanabilir. Bu kapsamda ölçek, anket, başarı testi, denetim listesi ya da gözlem formları gibi çok çeşitli ölçme araçları kullanılabilir.

Ölçekler;katılımcıların eğitim programı hakkında değer, inanç, eğilim ve tercihlerini saptamaya yönelik araçlardır. Çok çeşitli türleri olmakla birlikte, yaygın olarak kullanılan Likert tipi ölçeklerdir. Bu tip ölçeklerde, bazı ifadeler yer almakta ve her birine katılım düzeylerini belirten seçenekler bulunmaktadır. Bu tip ölçeklerde katılımcılara soru sorulmaz. Açık bir biçimde ifade edilmiş bir cümle oluşturulmakta ve katılımcılar, her ifadeyi okuduktan sonra kendilerine uygun gelen seçeneği işaretlemektedirler.

Anketler; belirli bir konuyla ilgili fikirleri, görüşleri, tercihleri, davranışları, beklentileri ve eğilimleri belirlemek amacıyla seçeneklere dayalı bilgi toplayan araçlardır. Katılımcıların kişisel bildirimine dayandığı için çok güvenilir bir ölçme aracı değildir. Verilen yanıt doğru olarak kabul edilmektedir. Bu nedenle, anketler eğitim sonuçlarını değerlendirmek için değil, eğitime katılan katılımcıların algılarını belirlemek için tercih edilmektedir.

Anket soruları, yapılandırılmış ve yapılandırılmamış olarak düzenlenip uygulanabilir. Yapılandırılmış anket sorularının yanıt seçenekleri sunulmuştur. Katılımcı, çoktan seçmeli sorularda olduğu gibi kendisine en uygun seçeneği işaretleyebileceği gibi seçenekler arasında sıralama da yapabilir. Yapılandırılmamış anket sorularında ise, katılımcılar için yanıt seçenekleri verilmemiştir. Burada, katılımcıya kendi görüşlerini özgürce ifade edebilmesi için açık uçlu sorular sorulmaktadır. Bu tür sorular, katılımcının analiz ve sentez düzeyinde görüşlerini değerlendirmek için kullanılmaktadır.

Başarı Testleri;katılımcıların, eğitim programındaki içerikle ilgili konularda bilişsel yeterliklerini ölçen araçlardır. Öğrenme çıktılarını ölçme amacıyla kullanılmaktadır. Bu testler, yanıtı kimin oluşturduğuna bağlı olarak nesnel yanıtlı ve serbest yanıtlı testler olarak sınıflandırılmaktadır.

Nesnel yanıtlı testlerde,sorular sorulmakta ve yanıtlar için olası seçenekler de listelenmektedir. Başka bir deyişle, hem soruları hem de yanıt seçeneklerini testi geliştiren kişiler hazırlar, eğitime katılanlar ise yalnızca yanıtları işaretleyerek belirtirler. Çoktan seçmeli sorulardan oluşan yabancı dil sınavları buna örnek olarak gösterilebilir. Serbest yanıtlı testlerde ise sadece soru sorulur ve yanıtı katılımcıların oluşturmaları istenmektedir. Bunu yaparken yanıtı istedikleri gibi oluşturabilirler.

Denetim Listeleri ve Gözlem Formları;katılımcıların eğitimde edindiği bilgi, beceri ve davranışları iş ortamında ne oranda uyguladıkları konusunda gözlem yapmak istediğimizde kullanılabilir. Kontrol listesi olarak da adlandırılan denetim listesi, katılımcının eğitim sonrası performansına ve davranışına ilişkin kapsamlı ve güvenilir bilgi sağlayan bir ölçme aracıdır. İşin temel ölçütlerinin uygulanması konusunda ifadeler içermektedir. Belirlenmiş özelliklerin ne oranda uygulandığı, uygulanma sıklığı ya da yoğunluğu konusunda betimlemeler yapılır. Gözlem formları kullanılarak da öğrenme çıktıları gerçek koşullarda izlenerek doğrudan bilgi toplanabilir. Gözlemler, katılımcıların performansı hakkında doğru ve çabuk bilgiler sağlayabilir. Özellikle uzun süre devam eden katılımcı gözlemlerle elde edilen bilgiler gerçekçi ve işlevseldir. Ancak, gözlenen kişiler değerlendirildiklerini biliyorlarsa ve toplanan bilgilerin eğitim amaçlı kullanılacağı kendilerine açıklanmadıysa, gözlenen kişiler doğal davranmayabilir.

Ölçme Araçlarında Bulunması Gereken Özellikler:Eğitim sonuçlarını değerlendirirken veri toplama sürecinde kullanılan ölçme araçlarının sahip olması gereken bazı özellikler bulunmaktadır. Hangi veri toplama aracı kullanılırsa kullanılsın, bu araçlar güvenilir ve geçerli olmalıdır. Güvenirlik, bir ölçme aracının tutarlı ölçüm yapabilmesi; geçerlik ise ölçme aracının ölçmekistediğini ölçebilme derecesidir.

Bir ölçme sonucuna;

• Katılımcının o gün hasta olması gibi bireyden;

• Donanım eksikliği, yetersiz ışık gibi ölçme yapılan ortamdan;

• Ölçmeyi yapan kişiden ya da

• İyi geliştirilmemiş ölçme aracından kaynaklanan hatalar karışabilir.

Verilerin Çözümlenmesi ve Yorumlanması:Verilerin çözümlenmesi ve yorumlanması; değerlendirmenin amaçları doğrultusunda toplanan verilerin kaydedilmesi, düzenlenmesi, sınıflandırılması, hesaplanması, özetlenmesi ve yorumlanmasıdır. Veriler küçük gruptan toplanmışsa kâğıt-kalem kullanarak düzenlenerek hesaplanabilir. Ancak, katılımcı sayısının fazla olduğu durumlarda istatistiksel bilgisayar programları kullanmak en güvenilir yoldur. İstatistiksel bilgisayar programları, çözümlemelerde kullanılan formüller ve bu formüllerin nasıl uygulanması gerektiği konusunda oldukça kolaylık sağlamaktadır.

Uygun istatistiksel yöntemlerle çözümlenen veriler, değerlendirme amaçları doğrultusunda yorumlanır. Başka bir deyişle, ortaya çıkan sonuçlara bir anlam verilir. Değerlendirmecinin yorumu ortaya çıkan ölçme sonuçlarına dayandığı ölçüde nesnel olacaktır. Ölçme sonuçlarına dayanmayan yorumlar yapmamaya özen gösterilmelidir. Çünkü öznel yorumlar değerlendirme sürecinin başarısı hakkında bir gösterge olamaz.

Raporlaştırma:Değerlendirme sürecinin son aşamasıdır. Raporlaştırma, değerlendirme sürecini belgeleme, üst yönetime bilgi sağlama, katılımcılara geribildirim verme, yol gösterme ve ileride yapılacak değerlendirmeler konusunda kaynak oluşturma açısından büyük önem taşımaktadır.

Değerlendirme raporunda, değerlendirme sürecinin bütün aşamaları açıklamalarıyla birlikte ayrı ayrı başlık olarak yer almalıdır. Değerlendirme sonuçları, hedef kitleye göre ayrıntılı ya da genel ifadelerle sunulmaktadır. Örneğin, eğitim ve insan kaynakları bölümü için çok ayrıntılı, üst yönetim için özet ve işletmenin öteki çalışanları için özet ya da çok kısa bir sonuç raporu yeterli olabilir. Sonuç raporu; toplantı, elektronik posta ya da örgütsel yayınlar aracılığıyla çalışanlara duyurulabilir.

Sonuç olarak, hazırlanan değerlendirme raporu, özellikle uygulanan eğitim programındaki iyileştirmeler ve gelecek uygulamalar için oldukça önemlidir.