Wykazałem wcześniej, że testy sytuacyjne są trafne prognostycznie. Aby stosować daną metodę w selekcji lub ocenie personelu musi ona być także rzetelna. Co to oznacza? Otóż rzetelność "to inaczej dokładność pomiaru. Innymi słowy, jest to wielkość błędu, jak popełnia [rekruter], interpretując wyniki danego testu. Nie ma idealnego testu - tak jak nie ma idealnej linijki czy innego narzędzia pomiarowego. Dlatego też trzeba wiedzieć, jak duży popełniamy błąd stosując określony test [...] (Hornowska, 2001; s. 28). A zatem, informacja o rzetelności danej metody jest w pewnym sensie wskaźnikiem wiarygodności wyników, jakich ona dostarcza. Jaka jest zatem rzetelność testów sytuacyjnych?
Zanim odpowiemy na to pytanie, warto określić, jaki błąd pomiaru jest w ogóle dopuszczalny. Czy też inaczej - jaką minimalną rzetelność powinna posiadać metoda selekcji, aby można było zebrane za jej pomocą wyniki czy obserwacje traktować z zaufaniem i na ich podstawie podejmować pewne decyzje. Jak podaje P. Smółka w swojej bardzo ciekawej książce pt. "Kompetencje społeczne. Metody pomiaru i doskonalenia kompetencji interpersonalnych": "W wypadku testów używanych do selekcji zawodowej, podczas której dokonujemy diagnozy indywidualnej i na jej podstawie formułujemy rekomendacje typu „zatrudnić / nie zatrudnić” lub „awansować / nie awansować”, wymogi dotyczące rzetelności i trafności powinny być bardzo rygorystycznie przestrzegane. Od nich zależy bowiem jakość decyzji personalnych. Dobra praktyka podpowiada, że rzetelność testów psychologicznych używanych na potrzeby selekcji, mierzona współczynnikiem zgodności wewnętrznej (tzw. alfa Cronbacha), powinna być nie mniejsza niż 0,80, najlepiej jednak, aby oscylowała wokół 0,90 [...] (2008, s. 77-78).
Zanim odpowiemy na to pytanie, warto określić, jaki błąd pomiaru jest w ogóle dopuszczalny. Czy też inaczej - jaką minimalną rzetelność powinna posiadać metoda selekcji, aby można było zebrane za jej pomocą wyniki czy obserwacje traktować z zaufaniem i na ich podstawie podejmować pewne decyzje. Jak podaje P. Smółka w swojej bardzo ciekawej książce pt. "Kompetencje społeczne. Metody pomiaru i doskonalenia kompetencji interpersonalnych": "W wypadku testów używanych do selekcji zawodowej, podczas której dokonujemy diagnozy indywidualnej i na jej podstawie formułujemy rekomendacje typu „zatrudnić / nie zatrudnić” lub „awansować / nie awansować”, wymogi dotyczące rzetelności i trafności powinny być bardzo rygorystycznie przestrzegane. Od nich zależy bowiem jakość decyzji personalnych. Dobra praktyka podpowiada, że rzetelność testów psychologicznych używanych na potrzeby selekcji, mierzona współczynnikiem zgodności wewnętrznej (tzw. alfa Cronbacha), powinna być nie mniejsza niż 0,80, najlepiej jednak, aby oscylowała wokół 0,90 [...] (2008, s. 77-78).
Dodam, że przytoczony współczynnik zgodności wewnętrznej to nic innego, jak stopień, w jakim pytania zawarte w danym teście korelują ze sobą. Innymi słowy, alfa Cronbacha informuje o tym, czy pytania zawarte w danym teście odnoszą się do tej samej zmiennej lub konstruktu, np. tej samej cechy lub umiejętności. Gdyby jakiś przykładowy test, np. hipotetyczny Test Pracowitości składał się z pytań, które ze sobą nie korelują, oznaczałoby to, że pytanie te nie odnoszą się do wspólnej cechy, którą powinny badać, tj. do pracowitości. W tej sytuacji, rzetelność takiego testu byłaby zapewne bardzo niska i trudno byłoby na jej podstawie wnioskować o faktycznym poziomie pracowitości badanych kandydatów. Dlatego zgodnie z przytoczoną definicją, metody rzetelne to takie, których współczynnik zgodności (alfa Cronbacha) wynosi minimum 0,80. Jak zatem wygląda rzetelność testów sytuacyjnych?
Znów posłużę się przeglądem badań na ten temat autorstwa Whetzel i McDaniela (2009). Jak podają, większość testów sytuacyjnych osiąga współczynniki zgodności wewnętrznej poniżej wymaganego poziomu. Jednak istnieją powody, by przypuszczać, że alfa Cronbacha nie jest najlepszym wskaźnikiem rzetelności dla testów sytuacyjnych. Przypomnę, że testy sytuacyjne mierzą umiejętność trafnej oceny sytuacji, na którą składa się kilka innych zmiennych. Są to: inteligencja (czynnik g), osobowość (przede wszystkim Sumienność z modelu Wielkiej Piątki) oraz jak sugeruje Sternberg i Wagner (2001), inteligencja praktyczna (czy też inaczej, wiedza utajona). Dlatego wskaźnik zgodności wewnętrznej dla testów sytuacyjnych będzie zawsze niższy niż np. dla kwestionariuszy osobowości, badających bardziej jednorodne konstrukty, jak np. Sumienność czy Ekstrawertyczność. Jednak powodem tego będzie nie niska rzetelność lecz fakt, że sam przedmiot pomiaru jest wewnętrznie zróżnicowany.
Whetzel i McDaniel (2009) sugerują, że o wiele trafniejszą metodą określania rzetelności testów sytuacyjnych jest metoda test-retest. Polega ona na tym, że badani wypełniają dany test dwa razy. Przy czym drugi pomiar odbywa się zazwyczaj po upływie kilku dni lub tygodni. Wskaźnikiem rzetelności jest wtedy poziom zgodności między odpowiedziami, jakich badani udzielili za pierwszym i drugim razem. Miarą tej zgodności jest zwykłą korelacja. Im silniejsza tym, wyższa rzetelność testu. Przykładem testu sytuacyjnego, dla którego określono rzetelność metodą test-retest jest Test Inteligencji Sprzedażowej (TIS), służący ocenie umiejętności sprzedażowych kandydatów na stanowiska handlowe, np. przedstawicieli handlowych czy key account managerów. Określony poziom rzetelności tego testu wyniósł 0,75. Jest to rzetelność nieco niższa od sugerowanej przez P. Smółkę, jednak nieporównywalnie wyższa niż w przypadku innych testów sytuacyjnych.
Podsumowując, rzetelność testów sytuacyjnych, określana za pomocą współczynnika zgodności wewnętrznej (alfa Cronbacha), jest zazwyczaj niższa od wymaganej. Istnieją jednak poważne wątpliwości, czy jest to właściwa metoda do określenia rzetelności metody służącej pomiarowi tak złożonego konstruktu, jakim jest umiejętności trafnej oceny sytuacji. Przy zastosowaniu innej metody, np. test-retest rzetelność badanego testu sytuacyjnego (tj. Testu Inteligencji Sprzedażowej) była znacząco wyższa, osiągając poziom zbliżony do wymaganego.
PS. Jeśli jesteś managerem, konsultantem lub coachem i podoba Ci się idea testów sytuacyjnych takich jak Test Inteligencji Sprzedażowej, napisz, by dowiedzieć się więcej o projektach, które obecnie prowadzę! Podejmijmy współpracę w zakresie rozwoju kolejnych metod, służących np. diagnozie kompetencji kierowniczych lub związanych z zarządzaniem zespołem sprzedażowym.
Znów posłużę się przeglądem badań na ten temat autorstwa Whetzel i McDaniela (2009). Jak podają, większość testów sytuacyjnych osiąga współczynniki zgodności wewnętrznej poniżej wymaganego poziomu. Jednak istnieją powody, by przypuszczać, że alfa Cronbacha nie jest najlepszym wskaźnikiem rzetelności dla testów sytuacyjnych. Przypomnę, że testy sytuacyjne mierzą umiejętność trafnej oceny sytuacji, na którą składa się kilka innych zmiennych. Są to: inteligencja (czynnik g), osobowość (przede wszystkim Sumienność z modelu Wielkiej Piątki) oraz jak sugeruje Sternberg i Wagner (2001), inteligencja praktyczna (czy też inaczej, wiedza utajona). Dlatego wskaźnik zgodności wewnętrznej dla testów sytuacyjnych będzie zawsze niższy niż np. dla kwestionariuszy osobowości, badających bardziej jednorodne konstrukty, jak np. Sumienność czy Ekstrawertyczność. Jednak powodem tego będzie nie niska rzetelność lecz fakt, że sam przedmiot pomiaru jest wewnętrznie zróżnicowany.
Whetzel i McDaniel (2009) sugerują, że o wiele trafniejszą metodą określania rzetelności testów sytuacyjnych jest metoda test-retest. Polega ona na tym, że badani wypełniają dany test dwa razy. Przy czym drugi pomiar odbywa się zazwyczaj po upływie kilku dni lub tygodni. Wskaźnikiem rzetelności jest wtedy poziom zgodności między odpowiedziami, jakich badani udzielili za pierwszym i drugim razem. Miarą tej zgodności jest zwykłą korelacja. Im silniejsza tym, wyższa rzetelność testu. Przykładem testu sytuacyjnego, dla którego określono rzetelność metodą test-retest jest Test Inteligencji Sprzedażowej (TIS), służący ocenie umiejętności sprzedażowych kandydatów na stanowiska handlowe, np. przedstawicieli handlowych czy key account managerów. Określony poziom rzetelności tego testu wyniósł 0,75. Jest to rzetelność nieco niższa od sugerowanej przez P. Smółkę, jednak nieporównywalnie wyższa niż w przypadku innych testów sytuacyjnych.
Podsumowując, rzetelność testów sytuacyjnych, określana za pomocą współczynnika zgodności wewnętrznej (alfa Cronbacha), jest zazwyczaj niższa od wymaganej. Istnieją jednak poważne wątpliwości, czy jest to właściwa metoda do określenia rzetelności metody służącej pomiarowi tak złożonego konstruktu, jakim jest umiejętności trafnej oceny sytuacji. Przy zastosowaniu innej metody, np. test-retest rzetelność badanego testu sytuacyjnego (tj. Testu Inteligencji Sprzedażowej) była znacząco wyższa, osiągając poziom zbliżony do wymaganego.
PS. Jeśli jesteś managerem, konsultantem lub coachem i podoba Ci się idea testów sytuacyjnych takich jak Test Inteligencji Sprzedażowej, napisz, by dowiedzieć się więcej o projektach, które obecnie prowadzę! Podejmijmy współpracę w zakresie rozwoju kolejnych metod, służących np. diagnozie kompetencji kierowniczych lub związanych z zarządzaniem zespołem sprzedażowym.
B. db.
OdpowiedzUsuń