Charakterystyka raterów: wiarygodność raterów i przewidywalność ocen

Do tej pory ignorowaliśmy faktycznych samych oceniających i ich znaczenie dla procesu oceny wyników. Chociaż wskazano, że oceniający podlegają licznym "błędom" w dokonywaniu ocen, a skale ratingowe powinny być zaprojektowane w taki sposób, aby zminimalizować te błędy, to właściwości poszczególnych oceniających nie zostały zbadane pod kątem ich wpływu na proces oceniania.

Rater Niezawodność i przewidywalność ocen:

Problem cech charakterystycznych dla ratera zyskał w ostatnich latach dużą uwagę. Buckner (1959) zbadał związek między tym, jak dobrze oceniają się ratownicy, a stopniem, w jakim można przewidzieć oceny z jakąś inną zmienną. Innymi słowy, Buckner zadał pytanie "Czy ratingi są wysoce wiarygodne, sugerują, że mam kryterium, które będzie łatwiejsze do przewidzenia?" Odpowiedź okazała się nie być. Buckner podzielił swoje oceny na cztery grupy, w zależności od tego, jak dobrze sędziowie zgodzili się przydzielać swoje oceny.

Grupa 1: Sędziowie byli zgodni co do tych stawek

Grupa 2: Sędziowie zawarli umiarkowane porozumienie w sprawie tych stawek

Grupa 3: Sędziowie mieli niskie porozumienie w sprawie tych stawek

Grupa 4: Sędziowie nie osiągnęli porozumienia w sprawie tych stawek

Następnie przystąpił do zatwierdzenia dwóch testów poprzez skorelowanie wyników testu z oceną - dokonano tego dla każdej grupy osobno. Nie znalazł systematycznej zależności między wielkością jego uzyskanych słuszności w funkcji grupy, z którą pracował. Windle i Dingman (1960) skrytykowali interpretację Bucknera i przeprowadzili drugie badanie, w którym znaleźli wyniki podane w tabeli 7.4.

Zwróć uwagę na względne wielkości współczynników poprawności przedstawione w tabeli 7.4. Im bardziej wiarygodni są wystawcy, tym wyższe są jego ważność. Podobnie im bardziej wiarygodne oceny, tym wyższe są ważność.

W związku z tym można logicznie oczekiwać rezultatów bardziej podobnych do wyników Windle'a i Dingmana niż wyników Bucknera. Należy jednak pamiętać, że wysoka niezawodność jest warunkiem koniecznym dla wysokich wartości - nie jest to wystarczający warunek.

Wiley, w serii badań, zbadał zgodność ocen raterów w czasie w odniesieniu do tego, jak dobrze zgadzają się z wcześniejszymi ocenami tego samego ratera (Wiley 1963, Wiley i Jenkins, 1963) i jak dobrze zgadzają się z grupą kompozytu ocena (Wiley and Jenkins, 1964). Ogólnie rzecz biorąc, oceniający byli konsekwentni w swoich ocenach do okresu dziesięciu miesięcy.

Ponadto stwierdził, że osoby oceniające, które bardzo ściśle zgodziły się z zespołem zbiorowym w zadaniu oceny wstępnej, również były osobami oceniającymi, które najbliżej zgodziły się z zespołem grupowym w innym zadaniu oceny miesiąc później. Sugeruje on, że wiedza ta może zostać wykorzystana do wyboru oceniających, którzy są prawdziwie reprezentatywni dla przeciętnego konsensusu większej grupy osób oceniających.

Niestety, problem, czy osoby oceniające, które zgadzają się z grupą kompozytu, są najlepszymi ratownikami do pozyskania, sam nie został określony. Jednakże logiczne jest stanowisko, że jeśli możliwe jest uzyskanie oceny złożonej za pomocą niewielkiej liczby oceniających, która będzie zbliżona do złożonego uzyskanego przy użyciu większej liczby, można na pewno zaoszczędzić czas i pieniądze.

Wykazano, że wiele innych cech charakterystycznych dla ratera odgrywa rolę w ocenach wydajności uzyskanych przez oceny. Christal and Madden (1960) wykazali, że ważnym czynnikiem jest stopień, w jakim znawca ocenia typ zawodu, co potwierdzają dodatkowe badania Maddena (1960a, 1961). Podobnie Wiley, Harber i Giorgia (1959a, 1959b) wykazali wpływ uogólnionych tendencji ratera na zauważalny w ich wpływie na oceny.

Format oceny skali i ocena wyników Osąd:

Madden zgłosił szereg badań dotyczących wpływu samej skali ocen. W jednym z badań (Madden, 1960b) stwierdził, że na wiarygodność oceny i łatwość oceniania nie ma wpływu użycie lub brak użycia przykładów przy definiowaniu skali ocen, ale to, czy skala została zdefiniowana w przeciwieństwie do nieokreślonej wpływają na niezawodność i łatwość użytkowania.

W kolejnym badaniu Madden i Bourdon (1964) badali wpływ siedmiu różnych formatów skali ocen na oceny 15 różnych zawodów na 9 różnych czynnikach pracy. Wyniki, choć nieco skomplikowane, wyraźnie wskazywały, że ocena przypisana do zawodu była zależna od zastosowanego współczynnika zatrudnienia i stosowanego formatu skali oceny.