Brandon Hall Grubu’na bağlı araştırma ekibinin bu yıl Ekim ayında yayımladığı bir araştırma notu[i], ölçme ve değerlendirmenin stratejik önemini vurguluyor. Bu içerikte ‘Stratejik Ölçme: Öğrenmenin performans üzerindeki olumlu etkisini nasıl sağlarız?’ araştırmasından kimi notlara değineceğiz.
Brandon Hall’un raporu, kurumların çoğu kez öğrenmenin, çalışanları geliştirmek ve onların iş performanslarını artırmak olan gerçek amaçlarından saptığına dikkat çekerek başlıyor. Bu durum raporda öğrenmenin öğrenme aşkına yapılması olarak nitelendirilirken, böyle bir yaklaşımla da öğrenmenin değerlendirilmesinin de sadece kursların bitirilmesine odaklandığı kaydediliyor. Raporda uygun ölçme yöntemleri olmadan, öğrenmenin bireyler ve kurumlar üzerindeki etkisinin bilinmesinin neredeyse imkansız olduğu vurgulanıyor.
Brandon Hall tarafından 367 kişilik örneklem grubuyla yapılan araştırmanın sonuçlarına göre, şirketlerin neredeyse yarısı metrikleri oluşturmanın temel sürükleyicisinin öğrenme fonksiyonunun kendisi olduğunu kaydediyor. 2016’da yapılan Öğrenmenin Durumu Araştırması’nın sonuçlarına da dikkat çeken Brandon Hall şirketlerin sadece % 43’ünün öğrenme stratejilerinin, iş stratejileriyle ilişkili olduğunu vurguluyor. Raporda çıktılara odaklanan, öğrenmenin verimliliğini ve çalışanların performanslarını geliştiren ölçme stratejilerini geliştirmek için şirketlerin adım atmaları gerektiğini kaydediliyor.
Brandon Hall eskiden her şeyin sınıfta ya da bir kurs içerisinde yapılmasıyla işlerin daha kolay olduğunu ifade ederken, bugün artık öğrenmenin informal ve deneyimsel biçimlerini içeren harmanlanmış öğrenme ekosisteminin giderek genişlediğini, ölçmenin de zorlaştığını kaydediyor. Yapılan araştırma ise kurumların sadece % 54’ü kendilerinin formal öğrenmeleri ölçmekte etkili ya da çok etkili olduğunu söylerken, bu oranın informal ve deneyimsel öğrenme deneyimlerinde çok daha düşük olduğu görülüyor. Kurumların sadece % 12’si farklı öğrenme biçimlerini ölçmek için spesifik stratejilere sahip olduğunu belirtiyor. Brandon Hall’un işaret ettiği önemli bir nokta, gerçekte birçok kurumun sadece basitçe kayıtları, tamamlamaları ve notları ölçtüğü için, bunların formal olanlar dışında öğrenme deneyimleri için uygun olmadığı yönündeki değerlendirmesi.
En çok kullanılan model Kirkpatrick
Yapılan araştırma kurumların % 80’i ölçme modeli olarak 4 aşamalı Kirkpatrick Modeli’ni kullandığını gösteriyor. Bilindiği gibi bu modelde 1. seviye: Tepki, 2. seviye: Öğrenme, 3. seviye: Davranış Değişikliği ve 4. seviye: İş Sonuçlarına Etkisi olarak adlandırılıyor. Araştırmaya göre kurumların çoğunluğu ölçümü esas olarak 1. seviyede yaparken 2. seviyeden sonra ölçümden genelde vazgeçildiği belirtiliyor. Esasında 1. seviye sadece öğrenme deneyiminden hoşnut kalınıp kalınmadığını ortaya koyuyor ve bununla yetinilince stratejik öğrenme ölçümü göz ardı edilmiş oluyor. Diğer taraftan şirketlerin sadece % 3’ü stratejik ölçümleri ihtiyaç olarak hissetmediklerini söylerken, zaman ve uzman eksikliği, uygun metriklerin eksikliği ya da bu ölçümlerin zorluğu, daha ilerisine gitmemenin temel gerekçeleri olarak ortaya koyuluyor.
Ne ölçülecek?
Brandon Hall raporunun önemli bir tespitini ise metriklerin eksikliğinin kurumların ayağına bir çelme gibi takılması olduğu. Kurumlar ne ölçeceklerini ya da öğrenmeyi performansa nasıl bağlayacaklarını bilemidikleri için, sonuç olarak tamamlama oranlarını ve notları hesaplamakla yetinmek durumunda kalıyorlar. Brandon Hall’un araştırmasına göre kurumlar tarafından en fazla kullanılan üç metrik şu şekilde:
- Kurs tamamlama oranları
- Kurs sonrası yapılan anketlerin sonuçları
- Çalışan memnuniyet araştırma sonuçları
Rapora göre bunlardan 2. ve 3. sü Kirkpatrick’in 1. ve 2. seviyelerini en azından kapsarken, birincisinin böyle bir karşılığı da yok, bir raporlamadan öteye gitmiyor. Öğrenme deneyimlerinin gerçekten ölçülebilmesi için, çözülmek istenen bireysel ve organizasyonel performans sorunlarının anlaşılması ve öğrenmenin bunlar için hangi rolleri oynayacağının bilinmesi gerekiyor. Rapora göre gerçek ölçüm öğrenmenin öncesinde var olanın karşısına öğrenmenin sonrasında ne olduğunu koymak anlamına geliyor.
Doğruyu yapmak
Brandon Hall bugün çoğu kuruluşun öğrenme ölçümü çerçevesinde yaptıklarının aslında ölçüm değil raporlama olduğunu kaydederken, ikisi arasındaki farkı anlamanın kritik önem taşıdığını vurguluyor. Raporda güzel bir benzetmeyle aradaki fark açıklanıyor:
Basitçe LMS tarafından üretilen verilere bakmak bir ölçüm biçimi değildir. Bu bir odun yığına bakmak ve yığında 25 parça olduğunu bildirmeye benzer. Her bir parçanın tam şeklini ve boyutunu söylerseniz ölçüm olur. Bir masa yapmak için bunları nasıl bir araya getirebileceğini söylerseniz bu da analitik olur.
Brandon Hall raporunu dikkate alınması gereken bazı önerilerini sıralayarak bitiriyor. Bunlar şu şekilde:
- Ölçme stratejisi, bir çıktı olarak performansa odaklanan bir öğrenme stratejisinin uzantısı olmalıdır.
- Yaygın öğrenmeyi ölçmek, daha geleneksel öğrenme türlerini ölçmekten pek farklı değildir.
- Kirkpatrick 1. ve 2. seviye verileri, üretilen başka verilerle birlikte düşünülmezse gerçekten anlamlı olmazlar.
2017’de de öğrenme metrikleri üzerine daha fazla düşünmeyi sürdüreceğiz. Bütün okuyucularımıza iyi yıllar dileklerimizle.
[i] Brandon Hall (2016). Strategic Measurement: How to Ensure Learning has a Positive Impact on Performance. Research Brief by Brandon Hall Group Research Team in October 2016.