Błędy i błędy, które wpływają na ocenę wyników

Ponieważ ludzki osąd zbyt często podlega wpływowi uprzedzeń, uprzedzeń i innych subiektywnych i zewnętrznych wpływów, problem uzyskania obiektywnych i dokładnych ocen bez tych wpływów jest niezwykle trudny. Guilford (1954) zaklasyfikował różne rodzaje stałych błędów, które mogą wystąpić w procesie oceniania i sugeruje pewne środki ostrożności, które można podjąć. Stałe błędy to te, które wynikają z systematycznego nastawienia ze strony ratera i są zwykle nieco łatwiejsze do poradzenia sobie z nimi niż te błędy raterowe, które są niesystematyczne lub losowe.

1. Błędy w złagodzeniu:

Każdy rater ma tendencję do noszenia swojego własnego wbudowanego zestawu standardów lub ram odniesienia, których używa przy dokonywaniu oceny pracy. Jednym z głównych problemów jest zrównanie różnych oceniających pod względem różnic w ich standardach, tak aby ich oceny mogły być porównywane.

Niektórych oceniających można najlepiej określić jako ogólnie "łatwych" lub łagodnych, podczas gdy inni mogą być uznani za "twardych" lub surowych w swoich ocenach lub ocenach. Kiedy rater jest zbyt poważny, mówi się, że popełnia błąd o złym pobłażaniu, podczas gdy łatwym oceniającym popełnia błąd pozytywnego pobłażania. Poniższy diagram ilustruje rozkłady ocen, które można otrzymać od dwóch różnych oceniających - jednego, który jest zbyt łagodny, a drugi, który jest zbyt poważny.

Istnieje kilka sposobów, w jakie można zaprojektować systemy ratingowe, aby uniknąć błędu w złagodzeniu. Pierwsza metoda polega na jednoznacznym określeniu kategorii lub "punktów kontrolnych" używanych na skali. Na przykład, gdybyśmy prosili nadzorców o uszeregowanie podwładnych na "ogólną biegłość", moglibyśmy użyć którejkolwiek z dwóch skal pokazanych poniżej.

Skala A nie ma punktów kotwiczenia ani punktów odniesienia, które może wykorzystać rater jako przewodnik; musi ustanowić własną. Istnieje ryzyko, że różne osoby oceniające będą inaczej definiować punkty. W skali B zdefiniowano liczbę punktów dla ratera, z prawdopodobieństwem zmniejszenia problemu. Te punkty zaczepienia nie rozwiązują całkowicie problemu złagodzenia kary, ponieważ "niski poziom" jednego z nich może być "średnią" innego gracza ". Jednak skala słowna wprowadza możliwość wspólnego układu odniesienia.

Procedura zakotwiczania, która jest potencjalnie bardziej skuteczna niż metoda opisana w skali B, znana jest jako metoda "Key-Man". Jedną z najszerzej stosowanych metod zwalczania błędu leniency jest zastosowanie techniki wymuszonego rozprowadzania. Jest to procedura wymagająca od danego uczestnika umieszczenia pewnej części jego odpowiedzi w różnych kategoriach. Taki rozkład pokazano na rysunku 7.1.

Wymaganie od wszystkich oceniających, aby przestrzegali standardowej dystrybucji pod względem liczby osób, które muszą być przypisane do każdej kategorii, jest skuteczną metodą unikania błędów w złagodzeniu. Jednakże często powoduje, że oceniający stają się nieco niezadowoleni z tego, że zostali zmuszeni do tak surowego wzorca reakcji. Zajmuje to również znacznie więcej czasu, ponieważ trzeba zadbać o odpowiedni numer w każdej kategorii.

2. Efekt halo:

Błąd halo jest tendencją do tego, aby nasza ocena osoby na jednej cechie wpływała na naszą ocenę tej osoby na inne specyficzne cechy. Dlatego też, jeśli uznalibyśmy, że Pracownik X był pod jednym względem na najwyższym poziomie, moglibyśmy oceniać go bardzo wysoko w odniesieniu do wszystkich cech, chociaż może on być w niektórych przypadkach raczej mierny.

Jest to bardzo powszechny rodzaj błędu, który również jest bardzo trudny do naprawienia. Symonds (1925) zasugerował, że najprawdopodobniej wystąpi z następującymi cechami:

1. Cechy trudne do zaobserwowania

2. Nieznajome cechy

3. Cechy niełatwo określone

4. Cechy związane z reakcjami interpersonalnymi

5. Cechy charakteru

3. Błędy oceny logicznej:

Ten błąd jest podobny do błędu halo. W błędzie halo rater nieświadomie pozwala, aby jego ocena pewnych cech była zależna od jego oceny osoby pod względem innych cech. Błąd logiczny polega na tym, że osoba, która ma tendencję do przyznawania danej osobie wysokiego wyniku za jedną cechę, po prostu dlatego, że czuje, że dana osoba ma dużo drugiej cechy, i czuje, że dwie cechy są logicznie powiązane. Kiedy rater ma tendencję do przeceniania prawdziwej relacji między cechami, prawdopodobnie popełnia ten błąd oceny.

4. Błędy kontrastu i podobieństwa:

Błąd kontrastu jest dość interesującym rodzajem uprzedzenia. Odnosi się to do ogólnej tendencji ze strony osoby, która oceniała innych w marynarzu przeciwnego od sposobu, w jaki postrzega siebie. Jeśli na przykład postrzega siebie jako bardzo uczciwego, jego skłonnością byłoby ocenianie innych nieco niższych niż normalnie w wymiarze "uczciwości".

Przeciwieństwem błędu kontrastu, który można by nazwać błędem podobieństwa, jest ocenianie przez innych ludzi w ten sam sposób, w jaki postrzega siebie. Ilustracją tego byłby rater, czujący się bardzo uczciwym, który również przypisuje wysoką uczciwość wszystkim innym osobom. Innymi słowy, oceniający powinni być przeszkoleni, aby oceniać innych, a nie siebie.

5. Błędy tendencji centralnej:

Niektórzy sędziowie lub oceniający często bardzo niechętnie podejmują skrajne osądy dotyczące innych osób. Ta niechęć skutkuje ich skłonnością do niestosowania skrajnych wyników skali na instrumencie oceny. To z kolei powoduje istotną zmianę kształtu w rozkładzie wyników dla tego wskaźnika, co można zobaczyć na rysunku 7.2. Zauważ, że dyspersja (zmienność) ocen jest znacznie mniejsza, ponieważ rater popełnia błąd centralnej tendencji. Ten rodzaj błędu skutkuje zatem ograniczeniem zakresu ocen kryterialnych - artefaktem, który może mieć wpływ na późniejsze współczynniki ważności. Jednym z lepszych sposobów na uniknięcie tego błędu jest użycie wcześniej omówionego systemu wymuszonej dystrybucji.

6. Błędy zbliżeniowe:

Ostatni błąd, który rozważymy, zwykle wynika ze sposobu, w jaki różne przedmioty zostały umieszczone lub zamówione w formularzu oceny. Czasami nazywany "efektem zamówienia", ten błąd ilustruje wpływ, jaki otaczające przedmioty mają na ocenę, jaką dana osoba przypisuje danej pozycji.

Jeśli poprzedni element był cechą, na podstawie której dana osoba otrzymała ocenę bardzo korzystną, może on skłonić się, by pozytywna odpowiedź "ustawiona" została przeniesiona do następnego elementu na liście. Rezultatem będzie ocena na następnej pozycji nieznacznie wyższa niż mogłaby być podana. Zawsze istnieje możliwość wystąpienia reakcji odwrotnej. Jeśli powyższe elementy dotyczą cech, w których pracownik został ogólnie oceniony jako wysoki, gdy rator dostaje cechę, w której pracownik rzeczywiście zasługuje na jedynie "umiarkowany" ranking, może dać raczej niekorzystny wynik tylko ze względu na efekt kontrastu z poprzednich pozycji.

Najczęstszą procedurą minimalizowania błędu zbliżeniowego jest posiadanie kilku różnych form skali ratingowej, z pozycjami w innej kolejności na każdym formularzu. Niestety, gdy liczba przedmiotów staje się duża, systematyczna kontrola kolejności Przedmiotów staje się niezwykle skomplikowana i trudna w większości praktycznych sytuacji. Typowa praktyka unikania tego błędu jest zwykle ograniczona do konstruowania tylko dwóch formularzy, z pozycjami przypisanymi do każdego formularza za pomocą tabeli liczb losowych.