Określanie użyteczności narzędzia selekcyjnego w przemyśle

Użyteczność urządzenia przewidującego jest stopniem, w jakim jego zastosowanie poprawia jakość osób wybieranych poza to, co mogłoby nastąpić, gdyby urządzenie to nie zostało użyte. Ważność i niezawodność, które odgrywają ważną rolę w określaniu użyteczności dowolnego narzędzia selekcji. Ponadto istnieje jednak kilka innych czynników, które są równie krytyczne przy określaniu użyteczności w każdej sytuacji obejmującej wybór grupy.

Te dodatkowe zmienne to:

(1) Niezawodność kryterialna,

(2) Istotność kryterium,

(3) Współczynnik doboru oraz

(4) Procent obecnych pracowników uważany za udany.

Czytelnik jest ostrzegany, aby pamiętać, że przewidywania grupowe to proces selekcji systematycznej podgrupy kandydatów, którzy są bardziej skłonni do odniesienia sukcesu, niż grupa jako całość lub dowolna podgrupa wybrana losowo z całości. Różni się to od procesu indywidualnej prognozy, gdy chodzi o przewidywanie prawdopodobieństwa sukcesu konkretnej osoby, a nie grupy osób.

Istnieją oczywiście sytuacje selekcji, które dotyczą zarówno grupowych, jak i indywidualnych aspektów selekcji. Jednym z przykładów jest program selekcji stosowany przez marynarkę Stanów Zjednoczonych w ich wyborze kadetów. Marynarka używa technik przewidywania grup przed i podczas kilku różnych faz szkolenia w locie.

Ponadto konieczne są również prognozy dotyczące konkretnego kadeta i jego indywidualnego prawdopodobieństwa odniesienia sukcesu w programie. Potrzeba tych ostatnich rodzajów przewidywań pojawia się zawsze, gdy zapis kadetów podczas treningu był wystarczająco słaby, aby doprowadzić go przed komisję odwoławczą. W przypadku tego programu marynarki te same podstawowe predyktory są używane zarówno w przypadku grupy, jak i indywidualnych przewidywań.

Ważność predyktorów:

Podstawowym wskaźnikiem statystycznym wpływającym na użyteczność dowolnego instrumentu predykcji jest jego ważność. Podczas gdy zostanie wykazane, że sytuacja niskiej i nawet zerowej ważności może nadal prowadzić do dość udanej selekcji w specjalnych warunkach, współczynnik ważności pozostaje główną zmienną w selekcji. Aby to zilustrować, należy wziąć pod uwagę schematy pokazane na rysunku 2.10, w których pokazano dwie różne zależności kryterium-predyktora, jedno z ważnością 0, 00, a drugie z trafnością 0, 70. W obu przypadkach ustalono punkt odcięcia dla predyktora, który pozwala nam przyjąć 50% osób biorących udział w teście.

Który z predyktorów spowoduje największy wzrost średniej oceny kryterium dla wybranej grupy w stosunku do tego, co osiągnięto dzięki wcześniejszym metodom (czyli selekcji losowej)? Patrząc najpierw na predyktor A pod względem rozkładu ludzi tylko w wymiarze kryterialnym, stwierdzamy, że średni wynik kryterialny grupy "zaakceptowanej" jest dokładnie taki sam jak grupa "odrzucona". Oznacza to, że ludzie, którzy są akceptowani przez przyjęcie górnej połowy wyników z testu A, nie mają zazwyczaj wyższych wyników kryterialnych niż najniższe 50 procent oceniających na teście A, jak pokazano na rysunku 2.11.

Jednakże, gdy patrzymy na predykator B, mamy zupełnie inny obraz. Od razu widać, że ci ludzie powyżej granicy odcięcia wydają się robić lepiej na podstawie kryterium niż ci poniżej granicy. Oznacza to, że osoby powyżej progu mają wyższy średni wynik kryterium niż te poniżej. Pokazano to na rysunku 2.12, który ponownie pokazuje trzy rozkłady wartości kryterialnych.

Tak więc wydaje się, że nasza pierwsza ogólna zasada w narzędziu testowym: w przypadku dowolnego arbitralnie określonego odcięcia w teście, im wyższa jest ważność, tym większy wzrost średniej oceny kryterium dla wybranej grupy w stosunku do obserwowanej dla całej grupy.

Innymi słowy, różnica:

(X _{wybrana grupa} ) - (X _{całkowita grupa} )

wzrośnie wprost proporcjonalnie do ważności testu. Rzeczywiście, można to pokazać algebraicznie, że tak jest (później zobaczymy pewne wyjątki od tej pierwszej zasady). Niedawno Naylor and Shine (1965) opublikowało zestaw tabel, które umożliwiają łatwe obliczenie wzrostu średniej wartości kryterium, która zostanie osiągnięta przy każdym teście, zważywszy, że można określić ważność testu i punkt odcięcia testu. Tabela ta podana jest w Załączniku wraz z objaśnieniami i przykładami jego użycia.

Współczynnik doboru i odsetek odnoszących sukcesy pracowników:

Dwie inne zmienne, które odgrywają ważną rolę w określeniu użyteczności predyktora, to współczynnik selekcji i odsetek obecnych pracowników uznanych za udane. Czytelnik przypomni, że użyteczność predyktora została zdefiniowana jako poprawa jakości zatrudnionych przy użyciu urządzenia przewidującego w porównaniu z obecnymi metodami selekcji.

Jakość jest zwykle określana jako (1) średnia wartość kryterium grupy lub (2) pod względem proporcji osób w tej grupie, które mają wyniki kryterium powyżej pewnej wartości, która jest uważana za minimalną, aby być udanym pracownikiem. W przypadku każdego podanego współczynnika ważności między kryterium a predyktorem, manipulacja wskaźnikiem wyboru i / lub zmiana procentu obecnych pracowników uznanych za udane spowoduje znaczące zmiany w wynikowej jakości zatrudnionych (wybranych) pracowników.

Współczynnik wyboru:

Po prostu opisany współczynnik selekcji (SR) można wyrazić jako:

n / N = SR

Gdzie n = liczba ofert pracy

N = liczba osób ubiegających się o pracę dostępnych do umieszczenia

Gdy SR jest równy lub większy niż 1, 00, użycie dowolnego urządzenia selekcji ma niewielkie znaczenie. W przypadku większej liczby ofert pracy niż osób ubiegających się o pracę, wnioskodawca znajduje się na rynku sprzedawcy, gdzie firma może potrzebować zakupu swoich usług bez względu na jego jakość. Jeśli jednak SR wynosi mniej niż 1, 00, to jest więcej kandydatów do pracy niż stanowisk, a pracodawca może być selektywny pod względem tego, kogo zatrudnia.

Sposób, w jaki SR może wpływać na proces selekcji, najlepiej można wykazać, odwołując się do rysunku 2.13. Na rysunku 2.13a pokazano wykres punktowy wyników, który jest w przybliżeniu kształtem, jakiego można by się spodziewać przy dużej próbie osób i korelacji między predyktorem a kryterium 0, 70 (im wyższa korelacja, tym bardziej wykres rozproszenia zbliży się do linii prostej, im niższa korelacja, tym bardziej przybliżenie wykresu punktowego zbliży się do koła). Część owalnego, która jest zacieniona, reprezentuje odsetek wnioskodawców, którzy są faktycznie zatrudnieni, a mianowicie, SR. Na rysunku 2.13a przedstawiono SR 100; dla każdego wnioskodawcy jest miejsce pracy, więc wszyscy zostaną zatrudnieni.

W części b rysunku 2.13 widzimy, co dzieje się ze średnią jakością zatrudnianych osób, gdy wskaźnik SR wynosi 0, 80. Ponieważ istnieją miejsca pracy tylko dla 80 procent wnioskodawców, pracodawca będzie logicznie wynająć 80 procent o najwyższych wskaźnikach predykcyjnych, ponieważ predykator jest w dużym stopniu powiązany z późniejszą sprawnością kryterium.

Te 80 procent reprezentowane jest przez zacieniony obszar owalny spadający na prawo od punktu odcięcia na predyktorze. Ponieważ eliminowane generalnie mają niskie wyniki kryterialne, łatwo jest zauważyć, że średni wynik kryterialny dla osób zatrudnionych z SR o wartości 0, 80 jest wyższy niż w przypadku, gdy losowa grupa wnioskodawców została umieszczona na stanowiskach, jak na Rysunku 2.13a. Ten wzrost średniej jakości pokazano jeszcze bardziej dramatycznie na rysunku 2.13c, co ilustruje SR na poziomie 0, 20. W obliczu sytuacji, w której na każde dwie prace składa się dziesięciu kandydatów, pracodawca "siedzi całkiem" - teraz może wybrać 20% najlepszych wykonawców. Osoby te są reprezentowane przez zacieniony obszar owalny opadający na prawo od odcięcia na rysunku 2.13c. Różnica w średniej jakości wyniku kryterialnego dla tej wybranej podgrupy w porównaniu z oceną całej grupy jest bardzo duża. Korzyści dla pracodawcy w zakresie dolarów w tej sytuacji powinny z pewnością być znaczne.

Ogólna zasada, że ​​niższy współczynnik selekcji zawsze spowoduje zatrudnienie lepszej jakości, utrzymuje się tak długo, jak długo zależność między predyktorem a kryterium jest wartością większą od zera (ujemne lub dodatnie r są równie skuteczne, jeśli mają taką samą wielkość) . W rzeczywistości można wykazać, że zasada współczynnika selekcji może być skutecznie wykorzystana w niektórych przypadkach, nawet jeśli wszyscy wnioskodawcy muszą zostać zatrudnieni. Może się to zdarzyć, jeśli istnieją co najmniej dwa zadania, z których każdy ma pewną liczbę otworów, a każdy z nich ma swój własny predyktor z ważnością większą od zera.

Procent obecnych pracowników, którzy odnieśli sukces:

W naszej dyskusji dotyczącej ważności i SR do tej pory przyjęliśmy kryterium ciągłości, a zatem im wyższy wynik kryterialny, tym bardziej satysfakcjonujący jest ten pracownik. Załóżmy teraz, że istnieje punktacja kryterialna, która określa, czy pracownik jest zadowalający, czy niezadowalający - to znaczy, jeśli wykonuje pracę powyżej normy, jest uważany za zadowalający i jeśli wykonuje poniżej normy, jest uważany za niezadowalający. Schematy na rysunku 2.14 ilustrują to.

W części a pokazano zależność około 0, 70 między kryterium a predyktorem. Zwróć uwagę, że linia pozioma, zwana punktem odcięcia, oddziela wszystkich pracowników na dwie grupy: te, które uznano za udane, i te, które uznano za nieudane. Takie odcięcie będzie oczywiście musiało mieć charakter arbitralny. Jednak w wielu przypadkach nie jest trudno osiągnąć pewien konsensus dotyczący minimalnych dopuszczalnych wyników.

Część b na rysunku 2.14 pokazuje te same dane z wartością prognostyczną w oparciu o współczynnik doboru około 0, 5. Ostatnia część rysunku pokazuje obie wartości graniczne łącznie. Po połączeniu w ten sposób staje się możliwe rozróżnienie pomiędzy różnymi pod-częściami danych utworzonych przez przecięcie dwóch linii odcięcia.

Część A. Kandydaci, którzy znajdują się na prawo od wyniku oceny testu i powyżej wartości granicznej kryterium, są określani jako prawdziwi pozytywy. Są to ci, którzy test mówi, że powinni odnieść sukces i kto rzeczywiście odniesie sukces zgodnie z kryterium. Reprezentują prawidłowe decyzje w oparciu o test.

Część B. Ten segment obejmuje tych kandydatów, którzy mają wyniki poniżej progu prognostycznego i poniżej kryterium odcięcia. Nazywane prawdziwymi negatywami, ci kandydaci, podobnie jak prawdziwi pozytywy, reprezentują prawidłowe decyzje oparte na predyktorze.

Część C. Wnioskodawcy mają wyniki poniżej progu prognostycznego, ale powyżej wartości granicznej kryterium. Osoby te nie zostałyby zatrudnione, gdyby decyzje o zatrudnieniu były oparte na teście, mimo że ich ostateczny wynik kryterium był wystarczająco wysoki, aby umieścić je w zadowalającej kategorii. Stanowi to jeden rodzaj błędu lub błędu, który występuje w testowaniu i jest określany jako fałszywe negatywy.

Część D. Ostatni segment owalu składa się z kandydatów do pracy, którzy zostaną zatrudnieni, ale później okazują się niezadowalający w swojej pracy. Osoby te również reprezentują "błędy" w procesie selekcji i są znane jako fałszywe alarmy.

Kilka znaczących stosunków można skonstruować za pomocą różnych części na rysunku 2.14c. Na przykład,

(1) C + D / A + B

Jest to stosunek liczby błędów w selekcji do liczby poprawnie rozmieszczonych pracowników. Wielkość tego współczynnika zależy od wszystkich trzech zmiennych: lokalizacji wyłączenia kryterium, lokalizacji wyłączenia prognostycznego i współczynnika ważności. Wielkość tych współczynników ma wpływ nie tylko na wielkość tego współczynnika, ale także na relatywną wielkość dwóch typów błędów, C i D. Zwykle pracodawca bardziej interesuje się minimalizowaniem fałszywych pozytywów, niż obawia się liczby fałszywych negatywów. .

Często zdarza się, że ci, którzy sprzeciwiają się testowaniu, są jednym z głównych złych wyborów naukowych w testach, a mianowicie, że niektórzy ludzie są odrzucani, którzy odnieśliby sukces w pracy, gdyby mieli okazję sprawdzić się. Czytelnik będzie musiał sam omówić zalety i wady tego problemu - autorzy wskazują jedynie trudność.

Autorzy spiesznie dodają jednak, że psychologowie przemysłowi mogą być tak samo społecznie nastawieni jak ich krytycy. Psychologowie przemysłowi zazwyczaj mają dane, aby opowiedzieć całą historię, podczas gdy niektórzy krytycy bez żadnych danych jedynie "krzyczą" o jeden błąd.

Inny stosunek znaczenia jest podany przez

(2) A + C / A + B + C + D = procent obecnie udany

Stanowi to odsetek obecnych pracowników, którzy są zadowalający. Jest to podstawowy procent wyrażający stopień sukcesu uzyskany przy użyciu dowolnych metod selekcji przed wprowadzeniem predyktora. Trzeci stosunek,

(3) A / A + D = procent sukcesu przy użyciu predyktora jest wyrazem odsetka zatrudnionych kandydatów, którzy odniosą sukces, jeśli użyje się predyktora jako pomocy w selekcji wraz z obecnie stosowanymi metodami. W stopniu, w jakim (3) jest większy niż (2), predykator dodaje coś do procesu selekcji.

Porównując względną wielkość (2) i (3), można podać pewne ogólne zasady:

1. W przypadku jakiejkolwiek szczególnej ważności i wyłączenia kryterium zmniejszenie SR spowoduje zwiększenie skutecznej ważności. W ten sposób można zrekompensować małą trafność statystyczną, jeśli można być selektywnym w jego zatrudnieniu.

2. Dla każdej określonej statystycznej trafności i współczynnika selekcji, im mniejszy odsetek obecnych pracowników uważa za zadowalający, tym większy procentowy wzrost zadowalających wnioskodawców uzyskanych przy użyciu predyktora. Innymi słowy, jeśli zdefiniujemy różnicę między stosunkami (2) i (3) jako

Użyteczność = A + C - A + C / A + B + C + D = procentowy wzrost efektywności

Tam, gdzie efektywność definiowana jest jako procent wykorzystywanych sukcesów, największą korzyść można zaobserwować w tych warunkach, w których najsłabsza praca jest obecnie wykonywana - wynik logiczny. Oczywiście są pewne wyjątki. Na przykład rozważ rysunek 2.15.

Zauważmy na podstawie wykresu 2.15, że niezależnie od tego, który z trzech różnych współczynników wyboru jest używany, 100 procent wszystkich wynajętych kandydatów zostanie ostatecznie uznanych za zadowalające. Tak więc jest jedna sytuacja, w której duże zmiany współczynników wyboru nie mają znaczenia.

Taylor-Russell Tables:

Szczegółowe wyliczenie dokładnych zależności pomiędzy wielkością współczynnika ważności, współczynnikiem doboru a odsetkiem obecnie zadowalających pracowników zostało przygotowane przez Taylora i Russella (1939). W danych warunkach ważności, współczynniku wyboru i procentach zadowalających, ich tabele pozwalają na określenie procentu zatrudniających, które będą zadowalające przy użyciu predykatora w połączeniu z aktualnymi metodami.

Jednak tabele Naylor-Shine omówione w sekcji dotyczącej trafności predyktorów wydają się mieć kilka zalet w stosunku do tabel Taylora-Russella. Tabele Naylor-Shine są sformułowane pod względem różnic w średnim wyniku kryterium między wybraną grupą a pierwotną grupą; Taylor i Russell używają różnic w procentach udanych między wybraną grupą a pierwotną grupą.

Tak więc tabele Naylor-Shine wydają się dawać bardziej znaczący indeks narzędzia testowego. Ponadto użycie tabel Taylora-Russella wymaga rozdzielenia pracowników na dwie grupy, "udane" i "niepomyślne", poprzez wybranie jakiegoś dowolnego punktu w wymiarze kryterium, który reprezentuje "minimalną satysfakcjonującą wydajność". Tabele Naylor-Shine nie wymagają żadnej decyzji tego rodzaju, a zatem są bardziej ogólne w zakresie ich stosowania.

Uwaga Uwaga. Zarówno tabele Naylor-Shine, jak i tabele Taylora-Russella mają pewne ograniczenia, które są bardzo ważne. Obie metody oceny użyteczności testu opierają się na założeniach, że (1) zależność między predyktorem a kryterium jest liniowa, oraz (2) wykorzystany współczynnik ważności to taki, który uzyskano w ramach procedur równoczesnego ważenia.

Smith (1948) i inni wskazali na niebezpieczeństwa, które istnieją, jeśli ktoś próbuje używać tabel takich jak Taylor i Russell w warunkach, w których związek nie jest liniowy między predyktorem a kryterium. Taki związek pokazano na rysunku 2.16. Gdy takie nieliniowe relacje istnieją, obie tabele są całkowicie nieodpowiednie do określenia narzędzia testowego.

Fakt, że obie tabele przyjmują współczynnik ważności oparty na współbieżnych procedurach walidacji, może być zaskoczeniem, ponieważ wcześniej wskazywano, że ważność współbieżna nie była szczególnie dobrym substytutem trafności predykcyjnej. Jednak narzędzie testowe polega na określeniu wzrostu albo średniej wartości kryterium (tabele Naylor-Shine), albo procentu odnoszących sukcesy pracowników (tabele Taylora-Russella) w stosunku do tego, co obecnie uzyskuje się u obecnych pracowników. Podstawowy wykres rozproszenia jest oparty na obecnych pracownikach zatrudnionych w normalnych procedurach selekcji - typowym równoległym paradygmacie ważności.

Wiarygodność predyktora i kryterium:

Ważna jest również wiarygodność kryterium i predykatora, przede wszystkim dlatego, że wpływają lub nakładają ograniczenia na wielkość współczynnika ważności, jaki można uzyskać. Istnieje podstawowa relacja algebraiczna, która istnieje między trafnością a wiarygodnością predyktora i kryterium, którym jest

r _pc (uzyskane) = r _pc (prawda) √r _pp xr _cc

Gdzie

r _pc (uzyskane) = obserwowana korelacja (ważność) między predyktorem a kryterium

r _pc (true) = "prawdziwa" korelacja (ważność) między predyktorem a kryterium

r _pp = niezawodność predyktora

r _cc = wiarygodność kryterium

Z powyższej zależności wynika, że ​​tylko wtedy, gdy _rpp i r _pcc są jednością (doskonała niezawodność), uzyskana trafność będzie równa prawdziwej ważności. Ponieważ wiarygodność tych dwóch miar maleje, podobnie będzie z uzyskaną trafnością. Załóżmy na przykład r _{pc (true)} = 0, 06, r _pp = r _pcc = 0, 08, następnie r _{pc (otrzymane)} = 0, 06 √ 0, 80 x 0, 80 = 0, 60 (0, 80) = 0, 48. Zauważ również, że jeśli wiarygodność predyktora lub kryterium wynosi zero, to uzyskana ważność będzie również równa zeru.

Kryterium trafności:

Znaczenie kryterium ma niewiele wspólnego z faktyczną empiryczną użytecznością instrumentu predykcji, chociaż ma on wiele wspólnego z jego użytecznością logiczną.