Mam ostatnio spory zgryz z pewnym tematem. Teoria wskazuje, że dane powinny ujawnić pewien schemat.
Niestety dane ignorują moje oczekiwanie i pokazują, że żadnych schematów nie ma.
To jeden z najgorszych możliwych scenariuszy dla osoby, która się bawi w badania… Hipoteza, która, jestem pewien, że jest prawdziwa, nie wytrzymuje próby empirycznej. Więc albo coś jest nie tak z badaniem, albo coś nie tak z hipotezą.
POMIAR W AC/DC A POMIAR TESTAMI PSYCHOLOGICZNYMI
Szczegółowo chodzi o pomiar korelacji pomiędzy wynikami kompetencji uczestników sesji Assessment/ Development Centre (AC/DC) a wynikami testów psychologicznych.
W Assessment/ Development Centre dajemy ludziom pewne zadania symulacyjne, w których wcielają się oni w konkretne role. Na podstawie ich zachowania w tychże rolach oceniamy, jaki poziom kompetencji osiągnęli. Np. zadaniem jest zagrać szefa w rozmowie z podwładnym, który nie osiągnął założonych celów. Badany rozmawia z podstawionym aktorem, który gra podwładnego. Zachowania osoby badanej są spisywane i kategoryzowane do odpowiednich kompetencji. W scenie z podwładnym np. możemy mierzyć w jaki sposób osoba badana motywuje podwładnego. Czy np. krzyczy na niego i stosuje presję, czy też zachęca, a może ignoruje temat niesatysfakcjonujących wyników. Zatem przedmiotem zainteresowania badaczy jest zachowanie. To, co osoba robi, lub czego nie robi.
Inaczej jest w testach psychologicznych. Tu nie możemy wprost zobaczyć zachowania. Osoba badana testem jedynie poprzez zbiór odpowiedzi testowych ujawnia swoje preferencje, przekonania, wartości, cechy osobowości, inteligencję, temperament i milion innych rzeczy, które testy mogą mierzyć. Zatem w testach zachowania nie mierzymy – jedynie pewne cechy psychologiczne, na owe zachowania wpływające. Np. osoby, które w teście uzyskały wysokie wyniki w testach inteligencji rozumianej jako zdolność do wyciągania wniosków, powinny w AC/DC wypaść lepiej w kompetencji MYŚLENIE ANALITYCZNE niż osoby, które uzyskały w teście niskie wyniki. Logiczne, no nie?
Tylko jest pewien problem… Rzadko tak wychodzi.
Przede wszystkim jest bardzo mało badań na ten temat. A na dodatek są one dość tendencyjne. Najczęściej związki wychodzą producentom testów. Twierdzą oni, że ich testy korelują z wynikami z AC/DC. Ale są to ekstremalnie nieobiektywne opinie. Rzetelnych, miarodajnych badań jak na lekarstwo.
Postanowiłem więc samodzielnie się tematem zająć. Mam dostęp do dużej liczby danych – z procesów AC/DC w których były wykorzystywane testy psychologiczne. Najczęściej były to testy osobowości (takie jak np. TIC czy HOGAN) albo testy stylów działania (np. Test Taktyk Wpływu). Zakładałem, że wyniki kompetencji muszą korelować z wynikami testów. No bo jeśli ktoś jest, dajmy na to, nastawiony osobowościowo na współpracę, to musi, siłą rzeczy, uzyskiwać lepsze wyniki w kompetencji WSPÓŁPRACA w Assessment/ Development Centre. Analogii można by mnożyć. Nasze zachowanie (czyli to co mierzymy w AC/DC) jest wynikiem wielu rzeczy (o tym pisałem tutaj). Niemniej jednak osobowość, intelekt, temperament na nie wpływa. Nie ma innej opcji.
WYNIKI
Jakież było moje zdziwienie, gdy okazało się, że takie korelacje są szczątkowe! Nie będę tu w całości przytaczał materiału z wynikami, bo jest tego bardzo dużo. Ale generalnie, to co wyszło, w ogóle nie wspiera hipotezy o tym, że wyniki testów psychologicznych (szczególnie testów osobowości) korelują z wynikami AC/DC. Związki jedynie pokazywały się pomiędzy kompetencjami społecznymi takimi jak współpraca czy komunikacja a sposobami wywierania wpływu mierzonymi Testem Taktyk Wywierania Wpływu (więcej o tych taktykach znajdziecie tu i tu). Jest to test, który mierzy coś na kształt kompetencji. Pyta o to, z jaką częstotliwością dane zachowanie prezentujemy. I okazuje się, że sporo tych taktyk wpływu ma powiązania z kompetencjami. Taktyki wpływu korelują także z osobowością, ale już osobowość z kompetencjami, wedle uzyskanych przeze mnie wyników, nie koreluje.
Długo się zastanawiałem nad wyjaśnieniem tego zjawiska. Dwie możliwe interpretacje przychodzą mi do głowy.
WYJAŚNIENIE NR 1
Błąd pomiaru w testach oraz błąd pomiaru w AC/DC nakładają się na siebie i fałszują wyniki.
Musimy niestety brać pod uwagę, że nasza procedura badawcza nie jest wysokiej jakości. Standardowy błąd pomiaru w testach jest mniej więcej znany i wiadomo, że wpływa na osiągane w testach wyniki. Sam ten błąd niekiedy jest dość spory, dlatego zawsze na wyniki testowe należy patrzeć z pewną dozą krytycyzmu i nie traktować ich jako wyroczni. Jeśli dodamy do tego błędu, błąd pomiaru w AC/DC, który jest nie znany, to nałożenie ich na siebie rozmywa wynik ostateczny. Dlaczego w AC/DC nie znamy błędu pomiaru? Ano dlatego, że każda sesja AC/DC jest niejako osobnym bytem, osobnym badaniem. Nie da się wobec tego przeprowadzić szerokich badań walidacyjnych, czyli takich w których sprawdzamy jakość zastosowanego narzędzia (w tym przypadku jakość AC/DC). W mojej opinii, jest to także badanie bardziej jakościowe niż ilościowe. Pomimo prób standaryzacji i obiektywizacji tego procesu, wiele zależy od interpretacji badaczy. Czyli generalnie, korelowanie metody ilościowej z jakościową nie ma sensu i nigdy nie wyjdą żadne korelacje w tym zakresie.
WYJAŚNIENIE NR 2
Assessment/ Development Centre mierzy kompetencje, ale nie mierzy zachowania.
Pamiętacie model zachowania, o którym pisałem tutaj? Przypomnę główny schemat tego modelu:
Jeśli przyjmiemy, że osobowość to nasza MOTYWACJA WEWNĘTRZNA, to zakładanie że będzie ona korelowała z KOMPETENCJAMI jest nieuzasadnione. Obie te rzeczy wpływają na ZACHOWANIE, ale są od siebie niezależne.
Posłużę się przykładem. Przyjmijmy, że jest osoba, która osobowościowo jest silnie nastawiona na współpracę i zmierzyliśmy to testem psychologicznym. W Assessment/ Development Centre wypada jednakże w kompetencji WSPÓŁPRACA słabo. Czyli jej kompetencja w tym zakresie jest niewykształcona. Ta osoba chce, ale nie umie.
Druga osoba odwrotnie. W teście wyszło, że jest megaindywidualistycznie nastawiona, uwielbia rywalizować. A w AC/DC wyszedł jej wysoki wynik we WSPÓŁPRACY. Absurd? Tylko pozornie.
Jak to wyjaśnić? Muszę przyjąć w tym miejscu pewne założenie, które znacznie uprości rozumowanie. Otóż zakładam, a popieram to wieloletnimi obserwacjami procesów AC/DC, że w tych procesach sporadycznie spotyka się ludzi, którzy są niezmotywowani, do pokazywania swoich kompetencji. Znaczna większość uczestników natomiast jest przemotywowana, zestresowana i chcąca wypaść jak najlepiej. Zatem ich MOTYWACJA jest w przypadku sesji AC/DC zawsze wysoka. To co mierzymy testami natomiast to motywacja długoterminowa, taka na co dzień. Czyli osoba, która w normalnych warunkach ma gdzieś współpracę, bo osobowościowo preferuje co innego, w trakcie AC/DC się „zepnie” i jeśli potrafi ujawniać zachowania wskazujące na jej kompetencję współpraca, to je ujawni.
Ale zakładanie, że na co dzień, ta osoba będzie je ujawniać jest nieuzasadnione.
Inna kwestia to interpretacja wyników osoby pierwszej. Tej co chce, ale nie umie. Otóż, okazuje się, że sama chęć mało znaczy, aby nauczyć się kompetencji. Być może znacznie ważniejszą rolę odgrywa środowisko, w którym osoba przebywa, zdolność do uczenia się niż to, że się chce. Nabywanie umiejętności społecznych na pewno jest uwarunkowane talentem do ich nabywania. Jeśli ktoś ma ten talent bardziej rozwinięty, to nawet jak nie chce, to się np. poprzez obserwację nauczy, na czym polega współpraca i w warunkach nienaturalnych, takich jak AC/DC tę umiejętność (kompetencję) okaże.
NAUKA NA PRZYSZŁOŚĆ
Jaka nauka płynie na przyszłość z tego quasi-badania, które wykonałem?
Dla mnie prosta – musimy (bez żadnych wyjątków!), projektując sesje AC/DC obowiązkowo mierzyć oprócz kompetencji także inne czynniki psychologiczne testami.
Dlaczego?
Bo po pierwsze, AC/DC ma pewien, prawdopodobnie dość duży błąd pomiaru. Testy też mają błąd pomiaru. Zatem im więcej metod wykorzystamy, tym ten błąd pomiaru będziemy mogli niwelować. To odwrotna sytuacja jak w badaniu, które powyżej opisywałem, kiedy błąd się nakładał. Ja metody sprzęgłem, więc błąd się nasilił. Jeśli natomiast każdy wynik traktujemy osobno (osobno wynik testu, osobno wynik kompetencji, osobno wynik z wywiadu itp.) to ogólnie błąd z całego procesu będzie mniejszy.
I po drugie – AC/DC mierzy coś innego (czyli KOMPETENCJE) i testy osobowości mierzą coś innego (czyli MOTYWACJĘ WEWNĘTRZNĄ). Obie te rzeczy wpływają na to jak się osoba zachowuje w pracy. Skorzystanie tylko z jednej metody, daje nam niepełny obraz osoby badanej.
Zatem jakość z zastosowania tych dwóch metod razem znacznie przewyższa jakość stosowania tylko jednej z nich.