Přehledové studie
Presnosť, validita a efektívnosť počítačového adaptívneho testovania |
| Súčasný vývoj v oblasti psychologického hodnotenia zdôrazňuje zlepšovanie metodológie a význam zvyšovania efektívnosti. Algoritmy počítačového adaptívneho testovania (CAT) založené na teórii odpovede na položku (IRT) ponúkajú zaujímavé príležitosti pre súčasnú optimalizáciu ako presnosti, tak aj efektívnosti merania. Tento článok prezentuje zistenia 15 výskumných štúdií z oblasti testovania schopností, klinickej psychológie, testovania osobnosti a zdravotníckej starostlivosti zameraných na skúmanie reliability, užitočnosti (v zmysle úspory položiek) a validity (v zmysle korelácií s existujúcimi nástrojmi) CAT. Celkovo sú zistenia povzbudivé – CAT poskytuje efektívny prostriedok pre získanie optimálneho množstva informácie potrebnej pre zodpovedanie posudzovanej otázky, a to využitím minimálneho množstva času a/alebo počtu položiek pre získanie danej informácie. CAT skóre silno korelovalo so skóre z celej položkovej banky (rozpätie r = 0,83 – 0,99) a stredne silno so zaužívanými nástrojmi (rozpätie r = 0,58 – 0,83) poskytujúc dôkazy pre reliabilitu, validitu a porovnateľnosť adaptívnych nástrojov. Avšak tieto výsledky sú založené hlavne na CAT simulačných štúdiách a preto sú potrebné ďalšie štúdie zahŕňajúce administráciu skutočných testov živým respondentom, aby tieto zistenia potvrdili. |
| Klíčová slova: teória odpovede na položku,
počítačové adaptívne testovanie,
validita,
reliabilita,
porovnateľnosť |
Peter Žitný (2011). Presnosť, validita a efektívnosť počítačového adaptívneho testovania. Československá psychologie, 55(2), 167-179.
| |
| Computerized adaptive testing:
precision, validity and efficiency |
| Present developments in the area of psychological
assessment place emphasis on methodological
improvements and the importance of increasing
effectiveness. Computerized adaptive testing
(CAT) algorithms based on item response
theory (IRT) offer attractive opportunities for
simultaneously optimizing both measurement
precision and efficiency. This article presents
findings of 15 research studies from field of ability
testing, clinical psychology, personality testing
and health care designed to explore the reliability,
utility (in terms of item savings) and
validity (in terms of correlations with existing
tools) of CAT. Overall, the findings are encouraging
– CAT provides an efective means to gain
an optimal amount of information needed to
answer an assessment question, while keeping
time and/or number of items required to obtain
that information at a minimum. CAT score correlated
high with score from the full item bank
(range r = 0,83 – 0,99) and moderately with established
measures (range r = 0,58 – 0,83) provide
the evidence for reliability, validity and
comparability of adaptive tools. However, these
results are based mainly on CAT simulation studies
and therefore additional Live-CAT studies
(involves the administration of real tests to live
examinees) are needed to confirm this pattern of
findings.
key words: |
| Keywords: item response theory,
computerized adaptive testing,
validity,
reliability,
comparability |
|
