Abstracts IJEE 6 (2.2)
Studying the Equivalence of Two Language Versions of a Large Scale Assessment:
A Comparison of Test Takers in United States and Puerto Rico
Jorge Carvajal Espinoza, & John Poggio
Received: 1 October 2020 • Accepted: 7 November 2020
Abstract: This study collected evidence regarding the equivalence of items across language forms by applying DIF methodologies to both the cognitive and affective domains of a large scale assessment and explored the utility of the Liu-Agresti estimator of the of the cumulative common odds ratio for identifying polytomous DIF. The illustrated use of the Liu-Agresti estimator appears to be promising to the understanding of the phenomenon of polytomous DIF. Although the differential functioning of the polytomous items identified as large DIF could not be accounted for on the basis of translation, it does not follow that there are not other causes for the apparent differential functioning. In particular, since these items tap into affect, behavior and attitudes, it could be cultural differences or impact that account for such differences.
Título: Analizando la equivalencia de dos versiones lingüísticas de una evaluación a gran escala: una comparación de los examinadores en Estados Unidos y Puerto Rico.
Resumen: En este estudio se reunieron pruebas relativas a la equivalencia de ítemes en todas las formas de lenguaje mediante la aplicación de metodologías DIF a los dominios cognitivo y afectivo de una evaluación a gran escala, y se exploró la utilidad del estimador de Liu-Agresti de la relación de probabilidades comunes acumulativas para identificar los DIF politómicos. El uso ilustrado del estimador de Liu-Agresti se muestra prometedor para la comprensión del fenómeno del DIF politómico. Aunque el funcionamiento diferencial de los elementos politómicos identificados como grandes DIF no se pudo explicar sobre la base de la traducción, no se deduce que no haya otras causas para el aparente funcionamiento diferencial. En particular, dado que estos elementos aprovechan los elementos afectivos, el comportamiento y las actitudes, podrían ser las diferencias culturales o el impacto los que expliquen esas diferencias.
Key-words: test takers; assessment; second-language test adaptation; translation DIF; Liu-Agresti estimator; large scale assessment.
Palabras Clave: examinadores; evaluación; adaptación de pruebas en un segundo idioma; traducción DIF; estimador Liu-Agresti; evaluación a gran escala.