Podejście oparte na teorii decyzji dotyczące predyktora i kryterium branż

Problem selekcji można rozpatrywać z nieco innej perspektywy niż ta, którą zastosowano. To drugie podejście okazuje się interesujące, ponieważ stwierdzimy, że ważność predyktora może nie być tak ważną zmienną w selekcji, jak to czyni tradycyjny punkt widzenia. Nasza nowa perspektywa opiera się na modelu teorii decyzji. Powinniśmy zacząć od ponownego przedstawienia celu w typowej sytuacji selekcji. W wielu sytuacjach doboru chcemy ustalić wynik cięcia na naszym predykatorze, co spowoduje zminimalizowanie błędów decyzyjnych.

W tym typie sytuacji implikuje się założenie, że można dobrowolnie manipulować wskaźnikiem doboru; to znaczy, że nie jest "ustalony" przy pewnej wartości. Podkreślono również, że nasza zmienna kryterium może być w sensowny sposób podzielona na dwie lub więcej odrębnych grup, takich jak "udane" i "nieudane". Naszym celem jest manipulowanie wynikiem cięcia (które jest tożsame z manipulowaniem wskaźnikiem doboru) w celu aby zminimalizować liczbę błędów popełnionych przy podejmowaniu decyzji, czy dana osoba powinna zostać zatrudniona, czy odrzucona.

Wcześniej wskazywaliśmy, że istnieją dwa różne rodzaje błędów decyzyjnych w paradygmacie wyboru, fałszywych alarmach i fałszywych wykluczeniach, jak pokazano poniżej:

Naszym celem jest znalezienie punktu odcięcia, który spowoduje najmniejszą liczbę błędów całkowitych. Dla wygody zaczniemy od założenia, że ​​oba rodzaje błędów są uważane za równie kosztowne. Oznacza to, że nie mamy powodu, aby preferować fałszywy pozytywny błąd w przypadku błędu fałszywie ujemnego lub odwrotnie. Przyjmując to założenie, można rzucić problem bezpośrednio w kategoriach minimalizacji całkowitej liczby obu rodzajów błędów, zamiast ważenia dwóch rodzajów błędów przez ich "koszt".

Lokalizacja punktu odcięcia:

Aby zilustrować, w jaki sposób można znaleźć problem znalezienia optymalnej lokalizacji dla naszego wyniku cięcia, rozważmy przypadek, w którym mamy określoną ważność (np. Około 0, 70) i ​​określony procent obecnych pracowników uważany za udany (często określany w tym kontekście jako "stopa bazowa").

Można to schematować w następujący sposób:

Następnym krokiem jest przedstawienie tych samych danych w nieco innej formie. Po pierwsze, wiemy, że nasza całkowita grupa pracowników ma normalny rozkład pod względem ich wartości predykcyjnych. Po drugie i równie ważne, zakłada się, że obie podgrupy (zakończone sukcesem i nieudane) mają rozkład normalny. Patrząc na powyższy przykład, łatwo można wywnioskować, że średni wynik predykcyjny odnoszącej sukcesy grupy będzie wyższy niż wynik grupy nieudanej.

Możemy to opisać jako:

Obie dystrybucje będą miały równe rozmiary, ponieważ są oparte na tej samej liczbie osób (tj. 50 procent w każdej grupie). Istnieje algebraiczna zależność pomiędzy różnicą między średnimi dwóch podgrup, patrząc w ten sposób, a wielkością współczynnika korelacji. Jeżeli średnie grupy są znacząco różne od siebie (powiedzmy na poziomie istotności 0, 05), wówczas współczynnik korelacji również okaże się znaczący na tym samym poziomie.

Przyjmując nasz diagram o krok dalej, możemy umieścić dwa rozkłady częstotliwości podgrup obok siebie na tej samej linii bazowej, jak pokazano poniżej.

Po wykonaniu tej czynności możemy teraz powrócić do pierwotnego pytania - gdzie zlokalizujemy odcięcie na predyktorze, aby zminimalizować całkowitą liczbę błędów? Okazuje się, że matematyczne rozwiązanie tego problemu daje bardzo prostą odpowiedź: Punktem odcięcia, który minimalizuje całkowity błąd, jest punkt, w którym dwie dystrybucje przecinają się wzajemnie.

Można to łatwo wykazać na poziomie koncepcyjnym, patrząc na trzy przypadki przedstawione poniżej. Ta sama różnica między środkami (tj. Ta sama korelacja) jest stosowana w każdym przypadku - wszystko, co zostało zmienione, to położenie punktu odcięcia na predyktorze.

Na ilustracji (a) liczba pól fałszywych alarmów (błędy przekraczające granice) jest podawana przez obszar B. Liczba fałszywych negatywów (sukcesy poniżej granicy wartości granicznej) jest określona przez obszar A.,

Błąd sumaryczny = A + B

Dla ilustracji (b) liczba fałszywych trafień jest podana przez B, a liczba fałszywych negatywów podana jest przez A + C. Tak więc,

Błąd sumaryczny = A + B + C

Dla ilustracji (c) liczba fałszywych trafień jest podana przez B + C, a liczba fałszywych negatywów podana jest przez A. Tak więc,

Błąd sumaryczny = A + B + C

Ponieważ inspekcja wszystkich trzech ilustracji szybko potwierdza, że ​​obszar A + B jest taki sam dla wszystkich trzech przypadków, to oczywiste jest, że błąd zwiększa się o pewną ilość C za każdym razem, gdy odcięcie zostanie przesunięte (w dowolnym kierunku) z punktu na którym dwie dystrybucje krzyżują się ze sobą.

Niektóre nietypowe odgałęzienia:

Mamy teraz ogólną zasadę ustalania wyniku cięcia, który zminimalizuje łączną liczbę błędów w sytuacji podejmowania decyzji o wyborze - a mianowicie w punkcie przecięcia.

Okazuje się, że tak długo, jak oba rodzaje błędów są uważane za równie kosztowne, jest to bardzo ogólna zasada i nie ma na nią wpływu:

(1) względne rozmiary obu grup (tj. Procent uznany za udany), lub

(2) Odpowiednie wariancje lub dyspersje dwóch rozkładów.

Prowadzi to do interesujących i bardzo ważnych aspektów ogólnego problemu prognozowania dotyczącego związku ważności testu z użytecznością testową. Rorer, Hoffman, LA Forge i Hsieh (1966) wskazali trzy takie interesujące przypadki.

Przypadek 1:

Zarówno środki, jak i wariancje dwóch grup różnią się od siebie. Załóżmy, że nasza udana grupa ma taką samą wielkość jak grupa nieudana i ma znacznie wyższą średnią dla predyktora, ale jej wariancja jest znacznie mniejsza.

Schemat takiej sytuacji przedstawia się następująco:

Nasza zasada ustalania punktów odcięcia mówi, że powinniśmy umieszczać je wszędzie tam, gdzie przecinają się dwie dystrybucje. Zauważ, że dzieje się to dwukrotnie w tym konkretnym przypadku. Mamy zatem górną granicę i niższe odcięcie. Powinniśmy wybierać tylko te osoby, które mieszczą się w przedziale między odcięciami pod względem wyniku testu. Wszelkie inne punkty odcięcia spowodują większy błąd całkowity niż w przypadku punktów znajdujących się w punktach przecięcia.

Przypadek 2:

Grupy mają równe środki, ale różne wariancje. W tym bardzo interesującym przypadku obie grupy nie różnią się pod względem średniej wyniku w zakresie wskaźników predykcyjnych, czyli średnio nieudani pracownicy wykonują równie dobrze test, jak i odnoszący sukcesy pracownicy. Oznacza to, że współczynnik korelacji wynosi zero między predyktorem a kryterium. Niemniej jednak stwierdziliśmy, że obie grupy różnią się pod względem zmienności.

Jeśli założymy, że udana grupa jest grupą o mniejszej zmienności w celach ekspozycyjnych, możemy wyrazić to schematycznie w następujący sposób:

Mimo że obie grupy mają tę samą średnią ocenę kryterium, możliwe jest opracowanie punktów odcięcia, które poprawią przewidywanie w stosunku do obecnie wykorzystywanych przez obecne metody, ponieważ dwa rozkłady przecinają się w dwóch punktach z powodu ich nierównej zmienności. Mamy zatem wyjątkową sytuację, w której nie byłoby widocznej trafności (mierzonej współczynnikiem korelacji), ale gdzie prognozy można znacznie poprawić poprzez zastosowanie odpowiednich wartości granicznych.

Przypadek 3:

Środki grupowe są znacząco różne, ale wielkość grupy również jest bardzo różna. Załóżmy, że mamy do czynienia z sytuacją, w której stopa bazowa nieudanych pracowników jest bardzo mała, czyli około 90 procent naszych obecnych pracowników jest uznawanych za odnoszących sukcesy. Taka sytuacja została przedstawiona na poniższym schemacie.

Tutaj mamy kolejną wyjątkową sytuację. Chociaż środki grupy mogą być zasadniczo różne, co daje istotną korelację między kryterium a predyktorem, nie będzie możliwe ustalenie żadnego odcięcia, które spowoduje zmniejszenie błędu w stosunku do tego, co obecnie uzyskuje się za pomocą obecnych metod. Ze względu na zaznaczoną różnicę wielkości między dwiema grupami widzimy, że te dwie dystrybucje nie przecinają się w żadnym punkcie.

W naszym obecnym systemie selekcji błędy robimy tylko w 10 procentach czasu. Jeśli przeniesiemy naszą granicę z lewej na prawą w przypadku 3 (na początku znajduje się ona w skrajnej lewej części, ponieważ aktualnie wybieramy wszystkie te osoby), oczywiście zaczniemy eliminować niektóre z nieskutecznych osób, które obecnie są zatrudniony w ramach obecnego systemu.

Jednocześnie jednak zaczniemy odrzucać pracowników, którzy odnieśliby sukces. Patrząc na wykres szybko mówi nam, że wzrost fałszywych negatywów byłby większy niż odpowiedni spadek liczby fałszywych alarmów, bez względu na to, gdzie położymy nasze odcięcie. W związku z tym każde odcięcie na podstawie testu spowoduje więcej błędów niż w przypadku testu, mimo że test jest bardzo ważny.