Ważność testu: 5 czynników
Ten artykuł rzuca światło na pięć głównych czynników wpływających na ważność testu. Czynniki są następujące: 1. Czynniki w samym teście 2. Treść funkcjonalna i procedura dydaktyczna 3. Czynniki stosowane w administracji testowej i punktacji 4. Czynniki reakcji uczniów 5. Charakter grupy i kryteria.
1. Czynniki w samym teście:
Każdy test zawiera przedmioty, a szczegółowa analiza pozycji testowych wskazuje, czy test wydaje się mierzyć treść przedmiotu, a mentalne funkcje nauczyciela chcą sprawdzić.
Następujące czynniki w samym teście mogą uniemożliwić działanie elementów testowych zgodnie z oczekiwaniami, a tym samym obniżyć ich ważność:
(a) Długość testu:
Test zwykle stanowi próbkę wielu pytań. Jeśli test jest zbyt krótki, aby stać się reprezentatywnym, wówczas trafność zostanie odpowiednio zmieniona. Homogeniczne wydłużenie testu zwiększa zarówno ważność, jak i niezawodność.
Formuła, która określa długość, na jaką można zwiększyć test, to:
W którym:
n = liczba razy, kiedy test ma zostać przedłużony
r t = wiarygodność testu
r tc = korelacja testu z kryterium
r tx = ważność poza testem
Na przykład współczynnik rzetelności testu wynosi 0, 57, a korelacja wynosi 0, 65 z oceną nauczyciela. Ile razy należy go wydłużyć, jeśli poszukiwany jest współczynnik ważności wynoszący 0, 80.
(b) Niejasny kierunek:
Jeśli wskazówki dotyczące sposobu reagowania na przedmioty, czy można je zgadywać i jak zapisywać odpowiedzi, nie są dla ucznia jasne, wtedy trafność będzie się zmniejszać.
(c) Czytanie słownictwa i struktur zdań, które są zbyt trudne:
Skomplikowane słownictwo i struktura zdania przeznaczone dla uczniów biorących udział w teście mogą nie udać się do pomiaru aspektów wydajności ucznia; obniżając tym samym ważność.
(d) Niewłaściwy poziom trudności przedmiotów testowych:
Gdy przedmioty testowe mają nieodpowiedni poziom trudności, wpłynie to na ważność narzędzia. Na przykład w testach opartych na kryteriach niespełnienie poziomu trudności określonego przez wynik uczenia obniży jego ważność.
(e) Źle skonstruowane elementy testowe:
Elementy testowe, które dostarczają niezamierzonych wskazówek do odpowiedzi, zmierzą czujność uczniów w wykrywaniu wskazówek, a także aspekty wydajności uczniów, które ostatecznie wpływają na ważność.
(f) Niejednoznaczność:
Niejednoznaczność stwierdzeń w pozycjach testowych prowadzi do błędnej interpretacji, odmiennej interpretacji i dezorientacji. Czasami może to bardziej mylić lepszych uczniów niż biedniejszych, co prowadzi do dyskryminacji przedmiotów w kierunku ujemnym. W konsekwencji ważność testu zostaje obniżona.
(g) Elementy testowe nieodpowiednie dla mierzonych wyników:
Wielokrotnie dochodzi do tego, że staramy się mierzyć pewne złożone rodzaje osiągnięć, zrozumienia, myślenia, umiejętności itp. Za pomocą formularzy testowych, które są odpowiednie tylko do mierzenia faktycznej wiedzy. Wpływa to na wyniki i prowadzi do zniekształcenia ważności.
(h) Nieprawidłowy układ przedmiotów:
Przedmioty biorące udział w teście są zazwyczaj uporządkowane według kolejności trudności z najłatwiejszymi przedmiotami. Jeśli trudne przedmioty zostaną umieszczone na początku testu, może to spowodować, że uczniowie spędzą zbyt dużo czasu na nich i nie dotrą do innych przedmiotów, na które mogliby łatwo odpowiedzieć.
Również takie niewłaściwe ustawienie może wpłynąć na ważność, ponieważ ma negatywny wpływ na motywację ucznia.
(i) Możliwe do zidentyfikowania wzorce odpowiedzi:
Kiedy uczniowie rozpoznają systematyczny wzór poprawnej odpowiedzi (np. TTFF lub ABCD, ABCD), mogą sprytnie odgadnąć odpowiedzi, co wpłynie na ważność.
2. Treść funkcjonująca i procedura dydaktyczna:
W testach osiągnięć nie można ustalić funkcjonującej zawartości elementów testowych tylko poprzez sprawdzenie formy i zawartości testu. Nauczyciel musi uczyć w pełni, jak rozwiązać dany problem, zanim włączy go do testu.
Test złożonych efektów uczenia się wydaje się być ważny, jeśli elementy testowe działają zgodnie z przeznaczeniem. Jeśli uczniowie mają wcześniejsze doświadczenie w rozwiązaniu problemu zawartego w teście, wówczas takie testy nie są już ważnym narzędziem do pomiaru bardziej złożonych procesów umysłowych, a zatem wpływają na ważność.
3. Czynniki związane z testowaniem administracji i punktowania:
Procedura administrowania testami i punktacji może również wpłynąć na ważność interpretacji wyników. Na przykład w testach prowadzonych przez nauczycieli takie czynniki, jak niedostateczny czas na wykonanie testu, nieuczciwa pomoc poszczególnym uczniom, oszustwo podczas egzaminu oraz nierzetelna ocena esejów mogą doprowadzić do obniżenia ważności.
Podobnie w standardowych testach brak standardowych wytycznych i limitów czasowych, nieuprawniona pomoc uczniom i błędy w ocenie, miałyby tendencję do obniżania ważności.
Niezależnie od tego, czy jest to test przeprowadzony przez nauczyciela, czy też wystandaryzowany test, niekorzystne warunki fizyczne i psychiczne w czasie trwania testu mogą mieć wpływ na ważność.
4. Czynniki reakcji uczniów:
Istnieją pewne czynniki osobiste, które wpływają na reakcję uczniów na sytuację testową i unieważniają interpretację testu. Uczniowie z zaburzeniami emocjonalnymi, brak motywacji uczniów i obawy uczniów o sytuację testową mogą nie reagować normalnie, co może ostatecznie wpłynąć na ważność.
Zestaw odpowiedzi ma również wpływ na wyniki testu. Jest to nawyk sprawdzający, który wpływa na ocenę uczniów. Jeśli test zostanie użyty ponownie, jego ważność może zostać zmniejszona.
5. Charakter grupy i kryteria:
Zostało już wyjaśnione, że ważność jest zawsze specyficzna dla konkretnej grupy. Na przykład test arytmetyczny oparty na problemach z historią może nam pomóc w pomiarze zdolności rozumowania w powolnej grupie i połączeniu zwykłego przypominania informacji i umiejętności obliczeniowych w bardziej zaawansowanej grupie.
Istnieją pewne czynniki, takie jak wiek, płeć, poziom umiejętności, wykształcenie i pochodzenie kulturowe, które mają wpływ na działania testowe. Dlatego charakter grupy walidacyjnej powinien znaleźć wzmiankę w podręcznikach testowych.
Charakter zastosowanego kryterium jest kolejnym istotnym czynnikiem przy ocenie współczynnika ważności. Na przykład, wyniki testów umiejętności naukowych prawdopodobnie zapewnią dokładniejsze przewidywanie osiągnięć na kursie środowiskowym.
Inne rzeczy są równe, im większe jest podobieństwo między wynikami mierzonymi przez test a wynikami reprezentowanymi w kryterium, tym większy jest współczynnik ważności.
