W jaki sposób cząstkowa granica zanieczyszczenia kryterium przyczynia się do fałszywie wysokiej wartości współczynnika?

Wcześniej termin zanieczyszczenie kryterium został zdefiniowany jako część rzeczywistego kryterium, które nie pokrywa się z kryterium ostatecznym. Ponadto wskazano, że zanieczyszczenie kryterium składa się z dwóch części, błędu i błędu systematycznego. Błąd z definicji; jest zwykle uważana za zmienność losową i nie może, z wyjątkiem przypadku, skorelować się z niczym, łącznie ze zmienną predykcyjną. Jednak część błędu skażenia kryteriami jest systematyczną zmiennością i może korelować z predyktorem. Można to zaobserwować na podstawie naszego modelu, w którym kontaminacja skorelowana z predyktorem (która musi zatem być skorelowana z predyktorem) przyczynia się do fałszywie wysokiej uzyskanej trafności.

Jakie rodzaje błędów mogą wejść w skażenie kryterium i jakie rodzaje mogą być również skorelowane ze zmienną predykcyjną? Być może formułowana przez Brogdena i Taylora (1950) formalna definicja błędu kryterialnego pomoże odpowiedzieć na to pytanie.

Definiują błąd w zakresie "dowolnej zmiennej, z wyjątkiem błędów pomiaru i błędu próbkowania, co powoduje odchylenie uzyskanych wyników kryterium od hipotetycznego" prawdziwego "wyniku kryterium. Rysunek 6.4 ilustruje ten punkt. Takie czynniki obciążające są częstsze niż można się spodziewać i powinny być ściśle chronione przed nimi. Mogą występować z różnych powodów i jako funkcja wielu zmiennych.

1. Odchylenie szans:

Ten rodzaj błędu kryterialnego odnosi się do sytuacji, w których czynniki pozostające poza kontrolą pracownika mają znaczący wpływ na ilość produkcji. Przykłady stronniczości szans są liczne. W działach sprzedaży konkretne terytorium lub licznik sprzedaży może wpłynąć na wielkość sprzedaży pracownika - może nawet bardziej niż jego własne możliwości. W pracy w fabryce, stronniczość szans można przypisać do takich prostych rzeczy, jak jakość narzędzi i stan maszyny, którą ma robotnik, czy musi pracować na dziennej zmianie lub nocnej zmianie, gdzie znajduje się jego stanowisko pracy, jak dobrze jego oświetlenie jest i wiele innych zmiennych.

Krótko mówiąc, jeśli środowiska pracy i zadania nie są identyczne, porównywanie rekordów wydajności pracy wśród osób ma swoje ograniczenia. Jeśli wydajność pracy jest skorelowana z urządzeniami predykcyjnymi w takich okolicznościach, nie można w żaden sposób ustalić, czy uzyskana korelacja jest korelacją z prawdziwą wydajnością pracy lub jest przede wszystkim korelacją z, powiedzmy, jakością stanowiska pracy. Choć uprzedzenia szans niekoniecznie muszą korelować z predyktorem, nawet jeśli nie uwzględniają czynników predykcyjnych, będzie to miało wpływ na uzyskaną trafność.

Inne, bardziej subtelne przykłady stronniczości szans można często znaleźć, dokładniej badając znaczenie predykcji takich elementów jak wiek i doświadczenie. W wielu zawodach osoby, które są starsze i mają więcej doświadczenia, uzyskują lepszą ocenę wyników, po prostu ze względu na staż pracy w związku, że ci ludzie mają lepsze stanowiska pracy, lepsze liczniki sprzedaży itp.

2. Charakterystyka grupowa:

Innym ważnym źródłem uprzedzeń kryterialnych jest charakterystyka grupy, do której dana osoba należy. Na przykład, jeśli dana osoba należy do grupy, która sztucznie ogranicza produktywność jej członków, nastąpi wyraźne przesunięcie danych kryterialnych. Podobnie, jeśli dana osoba należy do grupy, która została wstępnie wybrana a priori, i jeśli ta grupa jest następnie porównywana do grupy, która nie jest tak wybrana, każda zmienna selekcji związana ze zmienną a priori może wykazywać fałszywą ważność.

Brogden i Taylor (1950) podają przykład sytuacji, w której dyrektor zarządzający zadekretował, że wszyscy zatrudnieni chłopcy muszą mieć wykształcenie średnie. Jeśli dla celów walidacji testu grupa obecnych pracowników jest porównywana z próbką osób ubiegających się o pracę, to prawie pewność, że każdy czynnik predykcyjny, który może skorelować się z ilością wykształcenia, wykaże zasadność!

Problem wieku i stażu pracy to kolejna ilustracja tendencyjności szans. Kiedy praca to taka, w której produktywność zwiększa się wraz z dodatkowym doświadczeniem i gdzie istnieje szeroki zakres doświadczeń (to znaczy, że są zarówno doświadczeni, jak i niedoświadczeni pracownicy), nieuniknione jest, że kryterium (wydajność) i doświadczenie będą skorelowane . Zatem kryterium jest obciążone cechą doświadczenia, a każdy predyktor, który może korelować z doświadczeniem, może skończyć z fałszywie wysoką trafnością.

3. Bias w ocenie:

Jedno z częściej stosowanych kryteriów w branży - ocena kompetencji przez przełożonych - również podlega odchyleniom. Należy tutaj podkreślić, że wszystkie zwykłe źródła stronniczości w zapisach dotyczących produkcji również mogą wpływać na ratingi poszczególnych kompetencji. Czy osoby nadzorujące, dokonując oceny kompetencji, mogą dostosowywać nierówne szanse do ocenianych? Jeśli tak, to ich ratingi doprowadzą do mniej tendencyjnego kryterium niż rzeczywisty rekord produkcji.

Najczęściej wymienianym efektem odchyleń w ocenach jest zjawisko znane jako "efekt halo". Krótko mówiąc, odnosi się to do sytuacji, w której rater uważa osobę za wyróżniającą się na wszystkich cechach tylko dlatego, że (osoba poddawana ocenie) ma jedną wyróżniającą się cechę. Charakterystyka.

Na przykład, jeśli dana osoba wykonała wybitnie jeden aspekt wydajności pracy, wystąpiłby błąd halo, gdybyśmy założyli, że dana osoba musi być dobra we wszystkich innych aspektach swojej pracy. Błędy halo często pojawiają się, gdy prosiada się o ocenę osób o przyjemnych cechach osobowości ("Jeśli dana osoba jest miła, musi także być zdolna") i przyjemnych cechach ("Jeśli dziewczyna jest ładna, musi być również utalentowana"). Oczywiście testy, które są wysoce skorelowane z ocenami mającymi odchylenie halo, mogą być po prostu skorelowane ze zmienną halo, a nie z "prawdziwą" kompetencją zawodową.

4. Znajomość błędu predyktorów:

Gdy dane Kryterium są uzyskiwane przy użyciu ocen, najpoważniejszym błędem, jaki może wystąpić, jest wcześniejsze zapoznanie się przez kandydata z wynikami predyktora. Nazywa się to wiedzą o uprzedzeniach predyktorów. Jeśli rater zna wyniki osiągnięte przez ludzi na zmiennej predykcyjnej, jest całkowicie możliwe, że może pozwolić, aby jego oceny kryteriów wpłynęły na tę wiedzę. Taki błąd może spowodować wzrost całkowicie pozornego charakteru w uzyskanej trafności.

Niestety, nie tylko ten typ błędu jest najbardziej poważny w ocenach kryterialnych (ponieważ z definicji jest to odchylenie, które zawsze będzie skorelowane z predyktorami), ale także jest jednym z najczęściej wykrywanych błędów. Przykłady są prawdopodobnie najłatwiejsze do znalezienia iii ustawień szkolnych, w których nauczyciele oceniają talent akademicki swoich uczniów po zobaczeniu wyników testów wstępnych.

Nie można przecenić ścisłej potrzeby zawsze, aby informacje o predyktorach były odizolowane od osób, które dostarczają dane kryterialne. Dlatego też nigdy nie należy zezwalać przełożonym na dostęp do wyników testów baterii kandydata. Po wystąpieniu takiego błędu zanieczyszczenia, wszelkie późniejsze próby empirycznego sprawdzenia testu mogą łatwo doprowadzić do nadmiernej inflacji współczynników korelacji.