Pytanie o trafność prognostyczną ma kluczowe znaczenie w ocenie każdej metody selekcji. Kilkakrotnie już przytaczałem rankingi znanych metod selekcji ułożone w oparciu właśnie o ich trafność prognostyczną. Niestety rankingi te nie brały pod uwagę testów sytuacyjnych (in. testów kompetencyjnych). Zapewne ze względu na fakt, że są one metodą selekcji stanowiąca przedmiot badań od stosunkowo niedawna. Dlatego w dzisiejszym poście postaram się uzupełnić tę lukę, przytaczając wyniki najnowszych badań nad trafnością prognostyczną testów sytuacyjnych.
Przypomnę, że trafność prognostyczna to związek między wynikami uzyskiwanymi przez kandydatów w danej metodzie a ich późniejszymi osiągnięciami lub porażkami w pracy. Metoda trafna prognostycznie to taka, za pomocą której można przewidzieć, jak dany kandydat będzie pracował już po zatrudnieniu. W celu określenie trafności prognostycznej metod selekcji przeprowadza się obszerne analizy statystyczne, w których koreluje się wyniki kandydatów w danej metodzie osiągnięte podczas rekrutacji ze wybranymi wskaźnikami, świadczącymi o jakości ich pracy, np. z oceną przełożonego (kryterium subiektywne) lub osiągniętym poziomem sprzedaży (kryterium obiektywne) mierzonymi już po zatrudnieniu tych kandydatów. W przypadku metody trafnej prognostycznie, kandydaci którzy słabo wypadli w danej metodzie będą także nisko oceniani przez przełożonego i będą osiągać niski poziom sprzedaży, a kandydaci którzy dobrze wypadli w danej metodzie będą dobrze oceniani przez przełożonego i będą osiągać wysoki poziom sprzedaży. Natomiast w przypadku metody nietrafnej prognostycznie powyższe prawidłowości nie będą miały miejsca.
Jaka jest zatem średnia trafność prognostyczna testów sytuacyjnych? Czy za ich pomocą można przewidzieć, jak kandydaci będą pracować po zatrudnieniu? Oczywiście tak. McDaniel i in. (2003) przeanalizował wyniki kilkudziesięciu badań, w których udało się zebrać od ponad 11 000 badanych ich odpowiedzi w różnych testach sytuacyjnych oraz dane świadczące o jakości ich pracy. Obliczenia trafności prognostycznej przeprowadzono osobno dla testów z instrukcją behawioralną i osobno dla testów z instrukcją poznawczą. Okazało się, że w tej pierwszej grupie trafność prognostyczna wyniosła 0,27, a w tej drugiej 0,33. Są to oczywiście trafności niższe niż powszechnie odnotowywane dla testów zdolności poznawczych (czynnik g) (około 0,51), ale już w okolicach trafności typowych dla bardzo popularnych kwestionariuszy osobowości (około 0,31).
Jeśli jednak spojrzy się na pojedyncze metody, to okaże się, że trafność prognostyczna testów sytuacyjnych może być bardzo różna. Przykładowo, spójrzmy na trafności prognostyczne testów sytuacyjnych tworzonych przez Sternberga i jego zespół. Trafność prognostyczna testu sytuacyjnego do badania umiejętności przywódczych dowódców wojskowych (Tacit Knowledge Inventory for Military Leaders, TKIML) wyniosła 0,42; testu do badania umiejętności kierowniczych (Tacit Knowledge Inventory for Managers, TKIM) wyniosła 0,37; natomiast testu do badania umiejętności sprzedażowych (Tacit Knowledge Inventory for Sales, TKIS) 0,22. Przy czym w przypadku dwóch pierwszych metod kryterium jakości pracy miało charakter subiektywny (ocena pracy), a w ostatnim przypadku obiektywny (wolumen sprzedaży).
Podobną trafność prognostyczną, co dla TKIS Sternberga i Wagnera odnotowano dla Testu Inteligencji Sprzedażowej (TIS), przy czym mierzonym kryterium świadczącym o jakości pracy była liczba klientów znajdujących się pod opieką handlowca (0,202) i liczba awansów zawodowych (0,219). Poza tym odnotowano także kilka nieco słabszych korelacji, tj. dla pozycji w hierarchii firmy (0,17), liczby godzin spędzanych tygodniowo w pracy (0,109) oraz wpływu na politykę firmy (0,08). Odnotowano także tendencję do uzyskiwania przez badanych, którzy dobrze/ źle wypadli w TIS wyższych/ niższych prowizji od sprzedaży.
Podsumowując, testy sytuacyjne są metodami bardzo prognostycznymi. Ich wielką zaletą, która ma oczywisty wpływ na ich trafność prognostyczną jest to, że zawierają sytuacje i pytania, które mają istotny związek z pracą wykonywana przez badanych. Przypomnijmy, że zgodnie z zaleceniami Sternberga i Wagnera (2001) sytuacje zawarte w testach sytuacyjnych powinny być 1) reprezentatywne/ typowe dla danej dziedziny, 2) wystarczająco wymagające lub inaczej, stanowiące wyzwanie dla osoby, która ma sobie z nimi poradzić oraz 3) ważne dla osiągnięcia sukcesu w danej dziedzinie. W związku z tym, jeśli zawarte w danym teście sytuacje spełniają te warunki, jest rzeczą raczej naturalną, że badani, którzy będą uzyskiwać wysokie wyniki w takim teście, będą jednocześnie osiągać sukcesy zawodowe na swoim stanowisku a kandydaci, którzy będą uzyskiwać niskie wyniki w takim teście, również w pracy będą doświadczać porażek.
PS. Jeśli jesteś managerem, konsultantem lub coachem i podoba Ci się idea testów sytuacyjnych takich jak Test Inteligencji Sprzedażowej, napisz, by dowiedzieć się więcej o projektach, które obecnie prowadzę! Podejmijmy współpracę w zakresie rozwoju kolejnych metod, służących np. diagnozie kompetencji kierowniczych lub związanych z zarządzaniem zespołem sprzedażowym
Brak komentarzy:
Prześlij komentarz