środa, 26 stycznia 2011

Efekt powtórnego pomiaru w testach sytuacyjnych

Efekt powtórnego pomiaru (retest effect) dotyczy sytuacji, w której badany podchodzi do tego samego testu dwukrotnie. Powody mogą być związane z samym badanym, np. podczas pierwszego podejścia do testu badany poczuł się źle/ chory i poprosił o możliwość ponownego wypełnienia testu w innym terminie, lub z sytuacją badawczą, np. w trakcie badania nastąpiła przerwa w dostawie energii elektrycznej i zgasło światło. Mimo że sytuacje takie zdarzają się bardzo rzadko, to jednak warto pamiętać, że powtórne wypełnienie tej samej metody może znacząco zawyżyć wynik badanego, ponieważ stworzy mu okazję do zapoznania się z daną metodą i przemyślenia odpowiedzi. Efekt powtórnego pomiaru nabiera szczególnego znaczenia w warunkach rekrutacji personelu. Możliwe jest bowiem, że nasi kandydaci spotkali się już z metodą, którą chcemy ich przebadać. Rodzi się wtedy pytanie, czy fakt, że już raz (lub może nawet więcej razy) ją wypełnili, zawyży ich wyniki w sposób zaciemniający obraz ich faktycznych cech i umiejętności? Dzisiaj odpowiem na to pytanie w odniesieniu do testów sytuacyjnych (in. testów kompetencyjnych). 

Lievens i in. (2005a) dali kandydatom na studia medyczne test sytuacyjny w formie video zawierający nagrania dotyczące sytuacji trudnych i typowych dla pracy lekarza, np. radzenia sobie z narzekaniem pacjentów czy przekazywanie im złych informacji. Zadaniem kandydatów było wskazać, jakie zachowanie byłoby w danej sytuacji najlepsze. Oczywiście kandydaci podeszli do tego testu dwukrotnie. Badaczy interesowało, czy uzyskane wyniki i trafność prognostyczna testu będą różnić się między pierwszym i drugim wypełnieniem. Okazało się, że za drugim razem badani faktycznie uzyskali nieco wyższe wyniki, przy czym trafność prognostyczna testu raczej nie uległa zmianie. Wskazywałoby to, że efekt powtórnego pomiaru ma w przypadku testów sytuacyjnych raczej niewielkie znaczenie. 

Nie udało mi się dotrzeć do podobnych badań na temat wymienianych już przeze mnie innych testów sytuacyjnych, jak np. TKIM do oceny managerów czy TKIS do oceny handlowców. Znam jedynie analizy, jakie przeprowadzono dla Testu Inteligencji Sprzedażowej (TIS). Otóż ten sam test dano dwukrotnie do wypełnienia ponad 100 kandydatom na stanowiska sprzedażowe. Porównanie wyników uzyskanych przez te osoby za pierwszym i drugim razem nie wykazało żadnych różnic istotnych statystycznie. Świadczy to, że TIS jest odporny na efekt powtórnego wypełnienia, w związku z czym, nawet jeśli kandydat już kiedyś go wypełnił, to z powodzeniem można mu go dać jeszcze raz. Z pewnością uzyskamy wiarygodne wyniki.

PS. Jeśli jesteś managerem, konsultantem lub coachem i podoba Ci się idea testów sytuacyjnych takich jak Test Inteligencji Sprzedażowej, napisz, by dowiedzieć się więcej o projektach, które obecnie prowadzę! Podejmijmy współpracę w zakresie rozwoju kolejnych metod, służących np. diagnozie kompetencji kierowniczych lub związanych z zarządzaniem zespołem sprzedażowym.

Brak komentarzy:

Prześlij komentarz