Etki Analizi Nedir?
Etki analizi, bir çalışma tamamlandıktan sonra sonuçlara bakmak değil; gözlenen değişimin nasıl oluştuğunu, kimlerde ve hangi koşullarda ortaya çıktığını ve bu değişimde gerçekleştirilen müdahalenin nasıl bir payı olduğunu sistematik biçimde araştırmaktır.
Bir eğitime kaç kişinin katıldığı, katılımcıların ne kadar memnun kaldığı veya program sonunda kaç puan aldığı önemli bilgiler sağlayabilir. Ancak bunların hiçbiri tek başına etkiyi göstermez.
Çünkü katılım, öğrenmenin; öğrenme, davranış değişikliğinin; davranış değişikliği de organizasyonel sonucun kanıtı değildir.
Etki analizi tam olarak bu geçişlerle ilgilenir:
Öğrenilenler iş üzerinde kullanılabildi mi?
Yeni davranışlar zaman içinde sürdü mü?
Çalışma ortamı bu davranışları destekledi mi?
Bireysel öğrenme ekiplerin uygulamalarına taşındı mı?
Kararlar, rutinler veya iş sonuçları değişti mi?
Gözlenen değişim ne ölçüde gerçekleştirilen çalışmayla açıklanabilir?
Aynı değişim başka faktörler nedeniyle de ortaya çıkmış olabilir mi?
Dolayısıyla etki analizi, yalnızca bir ölçüm faaliyeti değil; değişim hakkında kanıta dayalı ve sınanabilir bir açıklama kurma sürecidir.
Her ölçüm etki analizi değildir
Etki analizi kavramının bulanıklaşmasının önemli nedenlerinden biri; faaliyet, çıktı, sonuç ve etki arasındaki farkların gözden kaçmasıdır.
Bir eğitim programı üzerinden düşünelim:
Eğitimin gerçekleştirilmesi bir faaliyettir.
Katılımcı sayısı, tamamlanma oranı ve eğitim süresi birer çıktıdır.
Bilgi, beceri veya tutumdaki değişim bir öğrenme sonucudur.
Öğrenilenlerin iş üzerinde kullanılmaya başlanması bir transfer ve davranış sonucudur.
Ekip uygulamalarında, süreçlerde veya performans göstergelerinde oluşan değişim bir organizasyonel sonuçtur.
Bu değişimin anlamlı, kalıcı ve gerçekleştirilen müdahaleyle ilişkilendirilebilir bölümü ise etki tartışmasının konusudur.
OECD, etkiyi bir müdahalenin oluşturduğu veya oluşturması beklenen; olumlu ya da olumsuz, amaçlanmış ya da amaçlanmamış, daha üst düzey sonuçlar olarak tanımlar. Bu tanım etki analizinin yalnızca “hedefe ulaşıldı mı?” sorusuyla yetinemeyeceğini gösterir. Etki; değişimin önemini, kapsamını, sürekliliğini ve daha geniş sistem üzerindeki sonuçlarını da ele alır (OECD, 2021).
Bu nedenle eğitim sonunda uygulanan bir memnuniyet anketi, değerlendirme sürecinin bir parçası olabilir; fakat etki analizi değildir. Aynı şekilde, eğitim öncesi ve sonrası puanlar arasındaki artış öğrenmeye ilişkin kanıt sunabilir ancak bu öğrenmenin işe taşındığını göstermez.
Bir KPI’ın programdan sonra yükselmiş olması da tek başına etki kanıtı değildir. Aynı dönemde yöneticinin, hedeflerin, iş yükünün, teşvik sisteminin, teknolojinin veya pazar koşullarının değişmiş olması mümkündür.
Değişimin müdahaleden sonra gerçekleşmesi, değişimin müdahale nedeniyle gerçekleştiğini kanıtlamaz.
Etki analizinin akademik soy kütüğü
Etki analizi tek bir kuramdan doğmuş değildir. Bugünkü anlamına; eğitim değerlendirme, program değerlendirme, nedensel çıkarım, öğrenme transferi ve organizasyonel öğrenme alanlarının katkılarıyla ulaşmıştır.
Hedeflere ulaşmaktan değer üretmeye
Program değerlendirmenin erken döneminde Ralph Tyler’ın hedef odaklı yaklaşımı öne çıkar. Temel soru, bir eğitim ya da programın önceden belirlenmiş hedeflerine ulaşıp ulaşmadığıdır.
Bu yaklaşım önemli bir başlangıç sağlamış olsa da programın yalnızca ilan edilen hedeflerle değerlendirilmesi yeterli değildir. Bir çalışma hedeflerine ulaşabilir ancak önemli yan etkiler yaratabilir; hedeflerine ulaşamamasına rağmen beklenmedik ve değerli sonuçlar üretebilir.
Michael Scriven’ın 1967’de yaptığı biçimlendirici değerlendirme ve sonuç değerlendirmesi ayrımı bu noktada önem kazanır. Biçimlendirici değerlendirme program devam ederken onu geliştirmeye; sonuç değerlendirmesi ise tamamlanan programın değerini ve başarısını yargılamaya yöneliktir (Scriven, 1967).
Bu ayrım, değerlendirmeyi yalnızca geriye dönük bir başarı raporu olmaktan çıkarır. Değerlendirme aynı zamanda programın nasıl iyileştirileceğini gösteren bir öğrenme mekanizmasıdır.
Daniel Stufflebeam tarafından geliştirilen CIPP Modeli ise değerlendirmeyi dört boyuta taşır:
Bağlam: Hangi ihtiyaç veya problem ele alınıyor?
Girdi: Seçilen çözüm, kaynaklar ve tasarım uygun mu?
Süreç: Program planlandığı şekilde ve yeterli nitelikte uygulanıyor mu?
Ürün: Hangi kısa ve uzun vadeli sonuçlar ortaya çıktı?
CIPP yaklaşımı, başarısız bir sonucun her zaman eğitimin içeriğinden kaynaklanmadığını gösterir. Yanlış tanımlanmış bir ihtiyaç, uygun olmayan katılımcı seçimi, uygulama eksikliği veya yetersiz yönetici desteği de sonucu etkileyebilir (Stufflebeam, 2003).
Böylece değerlendirme yalnızca “İşe yaradı mı?” sorusunu değil, “Neden bu sonuç ortaya çıktı?” sorusunu da sormaya başlar.
Eğitim değerlendirmesinde dört düzey
Donald Kirkpatrick’in 1959’da geliştirmeye başladığı model, eğitim değerlendirme alanında en yaygın kullanılan çerçevelerden biri olmuştur.
Model dört değerlendirme düzeyi önerir:
Tepki: Katılımcılar deneyimi nasıl değerlendirdi?
Öğrenme: Bilgi, beceri veya tutumlarda değişim oldu mu?
Davranış: Öğrenilenler iş üzerinde kullanılmaya başlandı mı?
Sonuç: Organizasyon açısından anlamlı sonuçlar oluştu mu?
Bu çerçevenin en önemli katkısı, eğitim değerlendirmesini memnuniyet anketlerinin ötesine taşımasıdır. Ancak dört düzeyin varlığı, aralarında kendiliğinden bir neden-sonuç ilişkisi bulunduğu anlamına gelmez.
Bir katılımcı eğitimi çok beğenebilir fakat öğrenmemiş olabilir. Öğrenmiş olabilir fakat öğrendiklerini uygulamak için gerekli yetkiye, zamana veya yönetici desteğine sahip olmayabilir. Davranışını değiştirmiş olabilir fakat organizasyonun süreçleri bu davranışı etkisiz bırakabilir.
Elwood Holton bu nedenle dört düzeyli yapının tam bir nedensel değerlendirme modeli olmaktan çok, sonuçların sınıflandırıldığı bir taksonomi olduğunu savunmuştur. Holton’a göre bilimsel bir değerlendirme modeli; motivasyon, bireysel özellikler, iş ortamı ve transfer koşulları gibi araya giren değişkenleri açıklamalı ve sonuçlar arasındaki nedensel ilişkileri sınamalıdır (Holton, 1996).
Kirkpatrick’in düzeyleri, nereye bakılacağını gösteren yararlı bir haritadır. Ancak etkinin nasıl oluştuğunu ve sonucun ne ölçüde programa bağlanabileceğini tek başına kanıtlamaz.
Öğrenme ile etki arasındaki köprü: Transfer
Bir eğitimde öğrenmenin gerçekleşmesi, öğrenilenlerin iş yaşamında kullanılacağı anlamına gelmez. Bu nedenle etki analizinin kuramsal omurgalarından biri öğrenme transferi alanıdır.
Baldwin ve Ford, transferi iki temel ölçüt üzerinden tanımlamıştır:
Öğrenilenlerin farklı iş durumlarına genellenebilmesi
Yeni bilgi ve becerilerin zaman içinde sürdürülebilmesi
Araştırmacılar transferi etkileyen üç ana değişken grubu tanımlar:
Öğrenenin özellikleri ve motivasyonu
Eğitim tasarımı
Çalışma ortamı
Bu yaklaşım, eğitim etkisinin yalnızca eğitmen, içerik veya yöntem üzerinden açıklanamayacağını gösterir. Katılımcının uygulama fırsatı bulamaması, yöneticisinin yeni davranışı desteklememesi, ekip normlarının değişime direnmesi veya performans sisteminin eski davranışı ödüllendirmesi öğrenme ile sonuç arasındaki bağı kesebilir (Baldwin ve Ford, 1988).
Blume ve arkadaşlarının 89 araştırmayı kapsayan meta-analizi de transferin; motivasyon, bilişsel yeterlik, sorumluluk bilinci ve destekleyici çalışma ortamıyla ilişkili olduğunu göstermiştir. Araştırmada ayrıca transferin yalnızca katılımcının kendi beyanıyla ölçülmesinin ilişkileri sistematik biçimde olduğundan güçlü gösterebildiği bulunmuştur (Blume ve diğerleri, 2010).
Bu bulgu önemli bir yöntemsel uyarı içerir: “Öğrendiklerimi kullanıyorum” ifadesi değerlidir fakat tek başına davranış değişikliğinin yeterli kanıtı değildir. Öz değerlendirme; yönetici gözlemi, iş örnekleri, süreç verileri, müşteri geri bildirimi ve performans göstergeleri gibi farklı kaynaklarla desteklenmelidir.
Sonuçtan değişim mekanizmasına
Geleneksel değerlendirme yaklaşımları çoğu zaman programa bir “kara kutu” gibi bakar: Bir tarafta eğitim, diğer tarafta sonuç vardır. Arada ne olduğu ise yeterince incelenmez.
Kuram temelli değerlendirme bu eksikliği gidermeye çalışır. Huey-Tsyh Chen’in geliştirdiği yaklaşım, her programın açık veya örtük bir program kuramına dayandığını ileri sürer. Program kuramı şu mantığı görünür hale getirir:
Bu faaliyet, bu kişilerde, bu koşullar altında, şu mekanizmaları harekete geçirerek bu sonuçları üretmelidir.
Bu nedenle sağlam bir etki analizi, önce bir değişim kuramı oluşturur. Faaliyetlerle beklenen sonuçlar arasındaki bağlantıları, bu bağlantıların dayandığı varsayımları ve süreci bozabilecek riskleri tanımlar (Chen, 1990).
Pawson ve Tilley’nin gerçekçi değerlendirme yaklaşımı bu düşünceyi daha da geliştirir. Gerçekçi değerlendirme yalnızca “Ne işe yarıyor?” sorusunu sormaz:
Ne, kim için, hangi koşullarda, hangi mekanizmalar yoluyla işe yarıyor?
Bu yaklaşımda sonuçlar üç bileşenin ilişkisiyle ele alınır:
Bağlam + Mekanizma = Sonuç
Örneğin geribildirim eğitimi, katılımcılara yeni bir konuşma tekniği kazandırabilir. Ancak bu tekniğin kullanılabilmesi için psikolojik güvenlik, yöneticinin rol model olması, geribildirim vermeye ayrılan zaman ve hataların cezalandırılmadığı bir ortam gerekebilir.
Aynı eğitim bir ekipte açık iletişimi güçlendirirken başka bir ekipte hiçbir değişim yaratmayabilir. Bu fark, programın bir yerde “iyi”, diğer yerde “kötü” olmasından çok; farklı bağlamların farklı mekanizmaları harekete geçirmesinden kaynaklanabilir (Pawson ve Tilley, 1997).
Etki analizi bu nedenle ortalama sonucun ötesine geçer. Sonucun kimlerde ortaya çıktığını, kimlerde ortaya çıkmadığını ve bu farkı hangi koşulların açıklayabileceğini araştırır.
Nedensellik sorusu: Değişim ne ölçüde programa bağlanabilir?
Etki analizinin en zor sorusu şudur:
Program uygulanmasaydı ne olurdu?
Bu soru, nedensel etki değerlendirmesinin temelini oluşturan karşı-olgusal durum ile ilgilidir. Gözlenen sonuç, müdahalenin gerçekleştiği durumla gerçekleşmediği varsayımsal durum arasındaki farktır.
Rastgele kontrollü deneyler, uygun karşılaştırma grupları, farkların farkı analizi, regresyon süreksizliği ve eşleştirme gibi deneysel veya yarı deneysel yöntemler bu farkı tahmin etmeye çalışır (Dünya Bankası, 2016).
Ancak organizasyonlardaki öğrenme çalışmalarında karşılaştırma grubu oluşturmak her zaman mümkün, etik veya kullanışlı değildir. Liderlik, kültür, ekip gelişimi ve organizasyonel dönüşüm gibi alanlarda değişim genellikle birçok faktörün etkileşimiyle oluşur.
Bu durum nedensellik sorusundan vazgeçilmesini gerektirmez. Yalnızca nedensellik iddiasının yöntemle uyumlu kurulmasını gerektirir.
John Mayne’in katkı analizi, karmaşık müdahaleler için bu noktada önemli bir alternatif sunar. Katkı analizi, programın sonucu tek başına yarattığını kanıtlamaya çalışmaz. Bunun yerine:
Değişim kuramını açıklar.
Nedensel zincirin her halkası için kanıt toplar.
Diğer olası açıklamaları araştırır.
Programın değişime yaptığı katkının ne kadar inandırıcı olduğunu değerlendirir.
Zayıf kalan bağlantılar için yeni kanıtlar arar.
Amaç kesinlik görüntüsü yaratmak değil, mevcut kanıtlarla savunulabilecek inandırıcı bir katkı açıklaması oluşturmaktır (Mayne, 2012).
Bu ayrım etki analizinin bilimsel dürüstlüğü açısından kritiktir:
Deneysel veya güçlü yarı deneysel tasarım varsa nedensel etki tahmin edilebilir.
Karmaşık bir organizasyonel ortamda, farklı veri kaynakları ve değişim kuramı üzerinden nedensel katkı değerlendirilebilir.
Yalnızca program öncesi ve sonrası veri varsa değişim gösterilebilir.
Sadece katılımcı görüşü varsa algılanan değişim raporlanabilir.
Bu iddialar birbirinin yerine kullanılamaz.
ROI ve SROI etki analizi midir?
ROI ve SROI, etki analizi alanında en sık birbirine karıştırılan kavramlardandır.
ROI, programın parasal net faydasını maliyetine oranlar:
ROI (%) = Net program faydası / Program maliyeti × 100
Ancak bu işlemi yapmak için önce hangi faydanın programla ilişkili olduğunun belirlenmesi gerekir. Programın etkisi ayrıştırılmadan bütün performans artışını eğitime bağlamak, matematiksel olarak doğru görünen fakat nedensel olarak savunulamayan bir sonuç üretir.
ROI yaklaşımının kendi yöntemsel ilkeleri de program etkisinin diğer faktörlerden ayrıştırılmasını, bütün maliyetlerin hesaba katılmasını, muhafazakâr tahminler kullanılmasını ve desteklenmeyen iddialardan kaçınılmasını ister (ROI Institute).
SROI — Sosyal Yatırım Getirisi ise paydaşların yaşadığı sosyal, ekonomik ve çevresel değişimlere parasal değerler atamaya çalışır. Bu yaklaşım yalnızca finansal kazanca değil, farklı paydaşlar için üretilen değere odaklanır.
Bilimsel bir SROI çalışmasında en az şu unsurların açıklanması beklenir:
Deadweight: Program olmasa da gerçekleşecek değişim
Attribution: Değişime başka kişi veya kurumların katkısı
Displacement: Bir yerde oluşan faydanın başka bir yerde kayıp yaratması
Drop-off: Etkinin zaman içinde azalması
Kullanılan finansal göstergeler ve parasal vekiller
Varsayımlar ve duyarlılık analizleri
SROI rehberi ayrıca olumlu değişimlerin yanında olumsuz ve amaçlanmamış sonuçların da değerlendirilmesini, varsayımların şeffaf biçimde açıklanmasını ve aşırı iddiadan kaçınılmasını önerir (Nicholls ve diğerleri, 2012).
Dolayısıyla: ROI veya SROI oranı sunmak, tek başına etkiyi kanıtlamak değildir.
Bu oranlar; değişim, nedensel katkı, maliyetler ve parasal dönüşüm varsayımları yeterince kanıtlandıktan sonra yapılabilecek değerleme çalışmalarının sonucudur. Ölçüm zincirinin başlangıcı değil, en son halkalarından biridir.
Araştırmalar ne söylüyor?
Eğitimlerin etkili olabileceğine ilişkin güçlü bir araştırma birikimi vardır. Arthur ve arkadaşlarının organizasyonlardaki eğitimleri inceleyen meta-analizinde öğrenme, davranış ve sonuç ölçütlerinde orta ile yüksek arasında değişen ortalama etkiler bulunmuştur. Ancak araştırma, elde edilen etkinin eğitim yöntemi, geliştirilen becerinin niteliği ve kullanılan değerlendirme ölçütüne göre değiştiğini de göstermiştir (Arthur ve diğerleri, 2003).
Başka bir ifadeyle, “eğitimler etkilidir” şeklindeki genel bir ifade tek tek programların etkisini kanıtlamaz. Her programın kendi bağlamında, uygun ölçütler ve araştırma tasarımıyla değerlendirilmesi gerekir.
Uygulamadaki tablo ise daha sınırlıdır. CIPD’nin 2023 yılında 1.108 öğrenme profesyoneliyle gerçekleştirdiği araştırmada katılımcıların yalnızca %50’si öğrenme etkisini değerlendiren bir süreçleri bulunduğunu belirtmiştir. Öğrenme transferini destekleyen bir sürece sahip olduğunu güçlü biçimde ifade edenlerin oranı ise %7’dir. Aynı araştırmada yalnızca %24’lük bir kesim, kurumlarının öğrenme ve gelişimin etkisini değerlendirdiğini söylemiştir (CIPD, 2023).
LinkedIn Learning’in 2024 araştırmasında öğrenmeyle bağlantılı belirli iş sonuçlarını ölçen L&D profesyonellerinin en sık izlediği göstergeler performans değerlendirmeleri (%36), çalışan verimliliği (%34) ve çalışan bağlılığı/elde tutma (%31) olmuştur. Rapor, birçok uygulamanın hâlâ memnuniyet ve verilen eğitim sayısı gibi faaliyet ölçütlerinde kaldığına dikkat çekmektedir (LinkedIn Workplace Learning Report, 2024).
Bu veriler iki noktayı görünür hale getirir:
Birincisi, etkiyi değerlendirme ihtiyacı yaygın biçimde kabul edilmektedir. İkincisi, bu ihtiyacı karşılayacak transfer takibi, araştırma tasarımı ve nedensel analiz kapasitesi aynı ölçüde gelişmiş değildir.
Deneyimsel öğrenme bağlamında etki analizi
Deneyimsel öğrenmede öğrenme, bir içeriğin aktarılmasıyla tamamlanmaz. Kolb’un deneyimsel öğrenme kuramında bilgi; deneyimin yaşanması, deneyim üzerine düşünülmesi, yeni kavrayışların oluşturulması ve bu kavrayışların yeniden denenmesi yoluyla gelişir.
Bu nedenle deneyimsel öğrenme çalışmasının etkisi yalnızca eğitim anında aranamaz.
Asıl sorular şunlardır:
Katılımcı deneyimden hangi içgörüleri üretti?
Bu içgörüler yeni bir davranış niyetine dönüştü mü?
Yeni davranış gerçek iş koşullarında denendi mi?
Denemenin sonucunda hangi yeni deneyimler oluştu?
Davranış farklı durumlara uyarlanabildi mi?
Öğrenme zaman içinde devam etti mi?
Etki analizi, deneyimsel öğrenme döngüsünün program sonrasında nasıl sürdüğünü görünür hale getirir. Simülasyon, vaka veya öğrenme oyunu sırasında ortaya çıkan kavrayışın iş yaşamında yeniden denenip denenmediğini; sonuçların nasıl yorumlandığını ve davranışın yeni deneyimlerle nasıl geliştiğini izler.
Böylece etki, eğitimin sonunda ortaya çıkan sabit bir sonuç olmaktan çıkar; deneyim, düşünme, uygulama ve yeniden öğrenme arasında devam eden bir süreç olarak ele alınır.
Organizasyonel öğrenme bağlamında etki analizi
Bireylerin öğrenmesi, organizasyonun öğrendiği anlamına gelmez.
Crossan, Lane ve White’ın 4I Modeli organizasyonel öğrenmeyi dört bağlantılı süreçle açıklar:
Sezme: Birey yeni bir örüntü veya olasılık fark eder.
Yorumlama: İçgörü dile getirilir ve başkalarıyla anlamlandırılır.
Bütünleştirme: Ortak anlayış ve koordineli davranış gelişir.
Kurumsallaştırma: Öğrenme sistemlere, rutinlere, kararlara ve çalışma biçimlerine yerleşir.
Bu nedenle etki analizi yalnızca “Katılımcının davranışı değişti mi?” sorusunda duramaz. Davranış değişikliğinin ekip içinde paylaşılıp paylaşılmadığını ve zamanla kişiden bağımsız bir uygulamaya dönüşüp dönüşmediğini de araştırmalıdır (Crossan, Lane ve White, 1999).
Örneğin bir liderin daha nitelikli geribildirim vermeye başlaması bireysel transferdir. Ekibin düzenli geribildirim pratikleri geliştirmesi bütünleştirmedir. Bu pratiğin performans görüşmelerine, toplantı ritüellerine, yönetici standartlarına ve dijital sistemlere yerleşmesi ise kurumsallaşmadır.
Etkinin organizasyonel düzeye taşındığını gösterebilecek kanıtlar bu nedenle şunları içerebilir:
Tekrarlanan ortak davranış örüntüleri
Ekip normları ve çalışma ritüellerindeki değişim
Karar süreçlerinin farklılaşması
Yeni uygulamaların süreçlere ve sistemlere yerleşmesi
Bilginin kişiler arasında paylaşılması ve yeniden kullanılması
Öğrenmenin kişiden veya programdan bağımsız biçimde sürmesi
Etki analizi, bireysel öğrenme ile kurumsal kapasite arasındaki bu geçişi görünür hale getirir.
Bilimsel olarak savunulabilir bir etki analizi nasıl kurulur?
Bilimsel etki analizi tek bir ölçekten, tek bir modelden veya tek bir hesaplamadan oluşmaz. Araştırma sorusuna uygun yöntemlerin birlikte kullanıldığı bir değerlendirme tasarımıdır.
1. İhtiyaç ve performans problemi tanımlanır
Analiz eğitimden sonra değil, eğitim tasarlanmadan önce başlar.
Önce hangi problemin çözülmeye çalışıldığı, bu problemin kimleri etkilediği ve problemin gerçekten bilgi veya beceri eksikliğinden kaynaklanıp kaynaklanmadığı araştırılır. Çünkü yapısal, teknolojik veya yönetsel bir probleme eğitim çözümü uygulanmışsa eğitim ne kadar nitelikli olursa olsun beklenen etki ortaya çıkmayabilir.
2. Değişim kuramı oluşturulur
Faaliyetlerin öğrenmeye, öğrenmenin davranışa, davranışın ekip uygulamalarına ve organizasyonel sonuçlara nasıl dönüşmesinin beklendiği açıklanır.
Her bağlantı için varsayımlar ve riskler belirlenir. Böylece değerlendirme yalnızca sonuçlara değil, sonuçları oluşturması beklenen mekanizmalara da bakar.
3. Başlangıç durumu görünür hale getirilir
Değişimden söz edebilmek için başlangıç noktasının bilinmesi gerekir.
Başlangıç ölçümü yalnızca bir test puanı olmayabilir. İş sonuçları, davranış gözlemleri, süreç verileri, vaka örnekleri, ekip ilişkileri ve mevcut uygulamalar başlangıç durumunun farklı boyutlarını oluşturabilir.
4. Birden fazla veri kaynağı kullanılır
Öz değerlendirmeler önemli olmakla birlikte sosyal beğenirlik, hatırlama ve ortak yöntem yanlılığı gibi sınırlılıklar taşır.
Bu nedenle mümkün olduğunda şu kaynaklar birlikte kullanılmalıdır:
Katılımcı değerlendirmeleri
Yönetici ve çalışma arkadaşı gözlemleri
Gerçek iş örnekleri
Sistem ve süreç verileri
Müşteri veya iç paydaş geri bildirimleri
Görüşmeler ve odak grupları
Organizasyonel performans göstergeleri
Farklı kaynakların aynı değişime işaret etmesi, etki iddiasını güçlendirir.
5. Zaman boyutu hesaba katılır
Eğitim sonundaki ölçüm öğrenmeyi; birkaç hafta sonraki ölçüm ilk uygulamaları; daha uzun vadeli izleme ise davranışın sürdürülmesini ve kurumsallaşmasını gösterebilir.
Ölçüm zamanları, beklenen değişimin oluşma süresine göre belirlenmelidir. Karmaşık davranışların birkaç gün içinde kalıcı performans sonuçları yaratması beklenemez.
6. Alternatif açıklamalar sınanır
Etki analizi yalnızca programı destekleyen kanıtları toplamaz.
Aynı dönemde sonuçları etkileyebilecek yönetici değişikliği, yeni hedef sistemi, teknoloji yatırımı, işe alım, pazar koşulları, organizasyonel yeniden yapılanma veya başka gelişim çalışmaları da incelenir.
Karşılaştırma grubu oluşturulabiliyorsa nedensel etki tasarımları kullanılabilir. Bunun mümkün olmadığı durumlarda değişim kuramı, katkı analizi, zaman serileri, farklı veri kaynakları ve alternatif açıklamaların sistematik biçimde incelenmesiyle daha gerçekçi bir nedensel değerlendirme yapılabilir.
7. Amaçlanmamış sonuçlar araştırılır
Bir program planlanan sonuçları üretirken başka alanlarda maliyet yaratabilir.
Örneğin performansı artırmayı amaçlayan bir uygulama iş yükünü, stres düzeyini veya ekipler arası rekabeti artırabilir. Bilimsel etki analizi yalnızca olumlu ve amaçlanan sonuçlara değil; olumsuz, farklı gruplara eşitsiz dağılan ve beklenmedik sonuçlara da bakar.
8. Bulgular kararlarla ilişkilendirilir
Michael Quinn Patton’ın kullanım odaklı değerlendirme yaklaşımı, değerlendirmenin değerini raporun uzunluğuyla değil, belirli kullanıcıların belirli kararlarında ne ölçüde kullanılabildiğiyle ilişkilendirir.
Bu nedenle bir etki analizi başlamadan önce şu soruların yanıtlanması gerekir:
Bulguları kim kullanacak?
Hangi kararı vermek için kullanacak?
Programın devamı, geliştirilmesi veya ölçeklenmesi konusunda hangi bilgiye ihtiyaç duyuluyor?
Hangi kanıt düzeyi bu karar için yeterli olacak?
Etki analizi böylece programın sonunda hazırlanan bir rapor olmaktan çıkar; tasarım, uygulama ve iyileştirme sürecinin parçası haline gelir.
Etki analizi ne değildir?
Etki analizi:
Eğitim sonu memnuniyet anketi değildir.
Katılımcı ve tamamlanma sayılarının raporlanması değildir.
Eğitim öncesi ve sonrası puan farkının tek başına yorumlanması değildir.
Bir KPI’daki bütün değişimin programa bağlanması değildir.
Katılımcının kendi gelişimine ilişkin beyanıyla sınırlı değildir.
Korelasyonun nedensellik gibi sunulması değildir.
Varsayımları açıklanmayan bir ROI veya SROI oranı değildir.
Yalnızca programın başarılı olduğunu göstermeye çalışan bir doğrulama faaliyeti değildir.
Etki analizi, başarı hikâyesi üretmek için değil; değişim iddiasını sınamak için yapılır.
Sonuç: Etkiyi göstermekten önce etkiyi anlamak
Etki analizi, gerçekleştirilen bir çalışmanın ardından etkileyici rakamlar üretme çabası değildir. Öğrenmenin nasıl davranışa, davranışın nasıl ortak uygulamalara ve bu uygulamaların nasıl daha kalıcı organizasyonel sonuçlara dönüştüğünü araştıran bilimsel bir disiplindir.
Bu disiplin; değişimi ölçerken bağlamı, mekanizmaları, alternatif açıklamaları, zaman içindeki sürekliliği ve kanıtların sınırlarını hesaba katar.
Deneyimsel öğrenme açısından etki, öğrenme döngüsünün gerçek yaşamda devam etmesidir. Organizasyonel öğrenme açısından ise bireylerin ürettiği içgörülerin ortak anlayışlara, tekrarlanan uygulamalara, kararlara, rutinlere ve sistemlere yerleşmesidir.
Etkiyi değerlendirmek bu nedenle yalnızca “Ne değişti?” sorusunu sormak değildir.
Aynı zamanda:
Bu değişim nasıl oluştu, hangi koşullarda mümkün hale geldi, ne kadar sürdü, kimler için farklılaştı ve eldeki kanıtlar bu değişim hakkında ne kadar güçlü bir iddiada bulunmaya izin veriyor?
Gerçek bir etki analizi, bu soruların hiçbirini tek bir oranla geçiştirmez. Kanıtı iddiaya uydurmak yerine, iddianın sınırlarını kanıta göre belirler.
Kaynakça
Arthur, W. Jr., Bennett, W. Jr., Edens, P. S., & Bell, S. T. (2003). Effectiveness of training in organizations: A meta-analysis of design and evaluation features. Journal of Applied Psychology, 88(2), 234–245.
Baldwin, T. T., & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Psychology, 41(1), 63–105.
Blume, B. D., Ford, J. K., Baldwin, T. T., & Huang, J. L. (2010). Transfer of training: A meta-analytic review. Journal of Management, 36(4), 1065–1105.
Chen, H. T. (1990). Theory-Driven Evaluations. Sage Publications.
CIPD. (2023). Learning at Work 2023: Survey Report.
Crossan, M. M., Lane, H. W., & White, R. E. (1999). An organizational learning framework: From intuition to institution. Academy of Management Review, 24(3), 522–537.
Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. J. (2016). Impact Evaluation in Practice (2nd ed.). World Bank.
Holton, E. F. III. (1996). The flawed four-level evaluation model. Human Resource Development Quarterly, 7(1), 5–21.
Kirkpatrick, D. L. (1994). Evaluating Training Programs: The Four Levels. Berrett-Koehler.
Kolb, D. A. (1984). Experiential Learning: Experience as the Source of Learning and Development. Prentice Hall.
LinkedIn Learning. (2024). Workplace Learning Report 2024.
Mayne, J. (2001). Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, 16(1), 1–24.
Mayne, J. (2012). Contribution analysis: Coming of age? Evaluation, 18(3), 270–280.
Nicholls, J., Lawlor, E., Neitzert, E., & Goodspeed, T. (2012). A Guide to Social Return on Investment. The SROI Network.
OECD. (2021). Applying Evaluation Criteria Thoughtfully. OECD Publishing.
Pawson, R., & Tilley, N. (1997). Realistic Evaluation. Sage Publications.
Patton, M. Q. (2012). Essentials of Utilization-Focused Evaluation. Sage Publications.
ROI Institute. ROI Methodology: Evaluation Framework, Process and Operating Standards.
Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagné & M. Scriven (Eds.), Perspectives of Curriculum Evaluation (pp. 39–83). Rand McNally.
Stufflebeam, D. L. (2003). The CIPP model for evaluation. In T. Kellaghan & D. L. Stufflebeam (Eds.), International Handbook of Educational Evaluation (pp. 31–62). Kluwer Academic Publishers.
Tyler, R. W. (1949). Basic Principles of Curriculum and Instruction. University of Chicago Press.
Yorumlar