Recibido: 10-04-2020 / Revisado: 10-05-2020 / Acept=
ado: 15-06-2020
/ Publicado: 03-07-2020
DOI: https://doi.org/10.33262/e=
xploradordigital.v4i3.1342
Análisis
estadístico de los resultados de aprendizaje específico Universidad Naciona=
l de
Chimborazo
=
Statistical Analysis of Specific Learning
Results National University of Chimborazo
Héctor Salomón Mullo Guaminga=
.[1]
The article deals with a topic of particular
importance for university educational evaluation, focused on studying
the quality of the Specific Learning Outcomes test using psychometric theor=
y.
With this intention, the work followed a non-experimental quantitative
approach, with a descriptive scope, using the Classical Test Theory and the
Item Response Theory. The results indicate that the tests have good quality=
in
the design, construction, application, qualification
and reporting phases; however, the verification phase is of poor quality, s=
ince
piloting, calibration, and reagent selection are not performed. On the other
hand, within the study of the items, quality problems are evident in diffic=
ulty
and discrimination, while in reliability they showed consistency and precis=
ion
in the scores obtained by the exam. Furthermore, the tests,
as a whole, have a low power of discrimination between the different
skill levels of the supporters. Finally, the results suggest that either of=
the
two psychometric theories can be used to study the Specific Learning Outcome
tests.
Keywords:
quality,
evaluation, university education, psychometry.
Resumen.
El artículo trata sobre un tópico de particular importancia para la evaluación educativa universitaria, enfocado en estudia= r la calidad de la prueba de Resultados de Aprendizaje Específico mediante la te= oría psicométrica. Con esta intención, el trabajo siguió un enfoque cuantitativo= no experimental, con un alcance descriptivo, utilizando la Teoría Clásica del Test y la Teoría de Respuesta al Ítem. Los resulta= dos indican que las pruebas tienen buena calidad en las fases de diseño, construcción, aplicación, calificación y reportes; sin embargo, la fase de verificación presenta mala calidad, ya que no se realiza el pilotaje, la calibración y la selección de reactivos. Por otro lado, dentro del estudio = de los reactivos, se evidencian problemas de calidad en dificultad y discriminación, mientras que en confiabilidad mostraron consistencia y precisión en las puntuaciones arrojadas por el examen. Además, las pruebas, como un todo, tienen bajo poder de discriminación entre los diferentes nive= les de habilidad de los sustentantes. Finalmente, los resultados sugieren que se puede ocupar cualquiera de las dos teorías psicométricas para estudiar las pruebas de Resultado de Aprendizaje Específico.<= o:p>
Palabras claves: calidad,
evaluación, educación superior, psicometría.
Introducción.
La evaluación educativa hace referencia a la
“acción permanente por medio de la cual se busca apreciar, estimar y emitir
juicios sobre procesos de desarrollo del alumno o sobre los procesos
pedagógicos o administrativos, así como sobre sus resultados, con el fin de
elevar y mantener la calidad de estos”
En particular, el proceso de evaluación obligat=
oria
de carreras determinado en la normativa nacional del CACES se compone de dos
etapas: a) la evaluación del Entorno del Aprendizaje y b) la evaluación de =
los
Resultados de Aprendizaje. La evaluación del Entorno de Aprendizaje es un
proceso que valora las condiciones académicas y físicas en las que se
desarrolla la carrera, por otro lado, los Resultados de Aprendizaje evalúan=
a
los estudiantes que se encuentran en el último año de la carrera en proceso=
de
evaluación. El resultado final de los dos procesos determina la acreditació=
n de
una carrera, ubicando a la carrera en una de las tres categorías: acreditad=
a,
en proceso de acreditación y no acreditadas, de acuerdo con el artículo 46 =
del
Reglamento de Evaluación, Acreditación y Categorización de la Instituciones=
de
Educación Superior (Codificado). Las carreras acreditadas certifican el
cumplimiento de los criterios mínimos de calidad, necesarios para funcionar=
y
garantizar una adecuada formación de sus estudiantes. En el caso de que una
carrera no sea acreditada, el CACES determinará su suspensión, impidiendo a=
la
institución la posibilidad de abrir nuevas promociones o cohortes, durante =
un
periodo de diez años, a partir de la notificación respectiva (CACES, 2019b)=
La Universidad Nacional de Chimborazo (UNACH), =
en
respuesta a las exigencias del CACES, se viene preparando para la evaluació=
n de
las carreras tanto en el Entorno del Aprendizaje como en los Resultados de
Aprendizaje. Con respecto a esto último, la UNACH ha desarrollado e
implementado las pruebas de Resultados de Aprendizaje Específico (RAE) en l=
os
estudiantes legalmente matriculados en el último año de las carreras, con a=
ras
en la mejor continua de la acreditación.
La construcción del instrumento de evaluación d=
e la
prueba RAE inicia con la capacitación a los docentes en la construcción de
reactivos y la consideración de las asignaturas del campo praxis-profesional
como la estructura de prueba. Posteriormente, al momento de la evaluación, =
se
asignan (de forma aleatoria) 100 preguntas a cada sustentante, las mismas q=
ue
luego se califican y, finalmente, se presentan los resultados de la evaluac=
ión
en términos de porcentajes de aciertos
Al respecto Chávez y Saade (2009) indican que un
buen proceso de evaluación educativa debe abarcar las fases de: diseño,
construcción, verificación, ensamble, aplicación, calificación, reportes y
mantenimiento. En este contexto, los autores Lord (1977), Chávez y Saade
(2009), Baker y Kim (2017), Lord (2012) y CENEVAL (2012) indican que la fas=
e de
verificación y, como parte de esta, la
revisión cuantitativa o análisis estadístico de los reactivos es
transcendental, debido a que es una forma de evidenciar que la elaboración =
del
instrumento de evaluación va por buen camino (control de calidad) y abre una
especie de diálogo entre quienes diseñan la prueba y elaboran los reactivos=
y
quienes estudian la evidencia empírica que resulta de aplicar la prueba en
situaciones reales.
La prueba RAE evidencia dos deficiencias en la =
fase
de verificación cuantitativa. En primer lugar, los reactivos no son pilotea=
dos
y, por tanto, no existe una calibración en términos de dificultad,
discriminación y confiabilidad. En segundo lugar, no se sigue una metodolog=
ía
para la selección de reactivos de un banco de ítems para la construcción de=
la
prueba. Esto es preocupante debido a que, sin un adecuado análisis estadíst=
ico
de los reactivos y posterior selección de estos para la prueba, no se puede
garantizar que el instrumento de evaluación mantenga consistencia en sus
parámetros psicométricos a lo largo del tiempo y que se conserve una métrica
supervisada, ya sea mediante la Teoría Clásica del Test=
(TCT) o la Teoría de Respuesta al Ítem (TRI).
=
Respondiendo a la importan=
cia
de la fase de verificación cuantitativa y sus deficiencias en la prueba RAE=
, esta
investigación se centra en el estudio de la calidad del instrumento de
evaluación, específicamente de la Carrera de Ingeniería Agroindustrial,
mediante TCT y TRI. Además, se espera generar, en posteriores aplicaciones =
de
la RAE, un mayor rigor técnico y metodológico en la fase de verificación y,=
por
tanto, en la construcción de los instrumentos, empleados de manera que, por=
un
lado, permitan tomar decisiones relacionadas directamente con la calibració=
n y
selección de reactivos de la prueba, y, por otro, ayuden a reconocer la cal=
idad
del instrumento completo.
Teoría Clásica del Test: La TCT, siguiendo a Menes=
es
et al. (2013) junto con Chávez y Saade (2009), se concentra en el análisis =
del
examen como una unidad y se basa en el modelo lineal clásico propuesto por
Spearman, que articula el proceso de medida, definiendo tres conceptos
fundamentales: la puntuación empírica
Algunos indicadores de TCT son la dificultad, la
discriminación y la fiabilidad de los reactivos.
Teoría de la respuesta al ítem: La TRI plantea la existen=
cia
de una relación entre las puntuaciones en la variable latente (habilidad de=
los
sustentantes) y la probabilidad de acertar cada ítem, introduciendo tres
funciones matemáticas para modelar adecuadamente esta relación, las cuales =
se
conocen como Curvas Características del Ítem (CCI). A continuación, se pres=
enta
el modelo logístico de dos parámetros[5]:
donde
Algunas transformaciones importantes de la esca=
la
de habilidad es la Curva Característica de la Prueba (CCP), que estima el
número de respuestas correctas esperado para un sustentante con habilidad <=
/span>
La calidad de la estimación con los modelos
logísticos se mide con un indicador de ajuste del modelo a los datos. En es=
te
sentido, se tienen dos indicadores de ajuste: uno interno (infit)
y otro externo (outfit). El primero mide la sensibilidad al comportamiento
inesperado que afecta a los ítems que presentan un nivel de dificultad leja=
no
del nivel de habilidad de una persona y el segundo mide la sensibilidad en
relación con la cercanía del nivel de habilidad de la persona (Tristan, 1998). Los valores de ajuste óptimos de los =
ítems
deben encontrarse entre 0.5 y 1.5 (Linacre, 200=
3).
Participantes: Los participantes de las
pruebas RAE fueron 55 y 63 sustentantes en los periodos académicos 2018-201=
9 y
2019-2019 respectivamente, quienes estaban legalmente matriculados en la
Carrera de Ingeniería Agroindustrial de la UNACH y cursaban el último año d=
e carrera.
Hubo, en promedio, 63 y 78 aciertos en los ítem=
s de
los periodos 2018-2019 y 2019-2019, respectivamente. En estos casos se
evaluaron 100 preguntas de selección múltiple con tres a cinco opciones de
respuesta, de un banco de 1 705 ítems para 2018-2019 y 3 338 en 2019-2019.<=
span
style=3D'mso-spacerun:yes'>
Proceso: La recolección de los datos se consiguió a par=
tir
de una solicitud al Director de Evaluación y Aseguramiento de la Calidad
Institucional de la UNACH. Una vez recolectados los datos se hizo una selec=
ción
de ítems calibrables, ya que, por ejemplo, para el caso del periodo 2018-20=
19
se aplicaron 100 preguntas a cada sustentante, de un banco de 1 705 ítems. =
Esto
produjo que hubiera reactivos que no fueron utilizados y otros que solo se
utilizaron unas pocas veces, generando así un problema al momento de calibr=
ar
los ítems, por lo tanto, se escogieron aquellos ítems que fueron respondidos
por al menos ocho sustentantes, cuidando que no todos los examinados hubier=
an
respondido correctamen o incorrectamente el íte=
m.
Después de aplicar este proceso quedaron 154 ítems calibrables, donde se
imputaron los valores faltantes utilizando un remuestr=
eo
de tamaño 1 000, de una distribución Bernoulli con probabilidad de éxito ig=
ual
a la proporción de aciertos. Para el periodo 2019-2019, en el que se aplica=
ron
3 338 ítems, se ocupó el mismo procedimiento del periodo anteriór,
quedando así 84 preguntas calibrables. Luego se efectuó el estudio estadíst=
ico
pertinente mediante las teorias psicométricas T=
CT y
TRI.
En este marco, el trabajo siguió un enfoque
cuantitativo, con un alcance descriptivo, ya que se estudió la calidad de l=
as
pruebas e ítems mediante TCT y TRI. El diseño de investigación fue no
experimental de corte longitudinal, debido a que se observaron los resultad=
os
de las pruebas en el ambiente natural de los sustentantes en dos periodos
académicos.
Para el estudio estadístico mediante TCT y TRI =
se
utilizaron los paquetes “irtoys” y “TAM”, de los
autores Partchev, Maris y =
Hattori
(2017) y Robitzsch, Kiefer=
y Wu (2019) del software estadístico R, con el que se obtuvieron las
estimaciones de las dificultades, discriminaciones y alfa de Cronbach para =
TCT
y las funciones de información y curvas carecterística=
s
mediante el modelo logístico de dos parámetros en el caso de TRI.
Después de la calibración, los ítems se catalog=
aron
como “aceptados” según dificultad, districriminación
y dificultad-discriminación cuando los valores estaban dentro de los intrevalos que muestra la tabla 1. La confiabilidad se
obtuvo a partir del coeficiente alfa de Cronbach en TCT y para el ajuste al
modelo de dos parametris en TRI se ocuparon los
indicadores infit y outfit. Tabla 1. Dictamen TCT y TRI de aceptación de ítems TRI Dificultad Discriminación Dificultad Discriminación =
<=
span
style=3D'font-size:11.0pt;line-height:115%;font-family:"Calibri",sans-ser=
if;
mso-ascii-theme-font:minor-latin;mso-fareast-font-family:"Times New Roman=
";
mso-fareast-theme-font:minor-fareast;mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";mso-bidi-theme-font:minor-bidi;
mso-ansi-language:ES-EC;mso-fareast-language:ES;mso-bidi-language:AR-SA'>=
<=
span
style=3D'font-size:11.0pt;line-height:115%;font-family:"Calibri",sans-ser=
if;
mso-ascii-theme-font:minor-latin;mso-fareast-font-family:"Times New Roman=
";
mso-fareast-theme-font:minor-fareast;mso-hansi-theme-font:minor-latin;
mso-bidi-font-family:"Times New Roman";mso-bidi-theme-font:minor-bidi;
mso-ansi-language:ES-EC;mso-fareast-language:ES;mso-bidi-language:AR-SA'>=
=
Fuente: Elaboración propia. Estudio de ítems TCT: Se encontró que para el
periodo 2018-2019, 44.81% (69), 35.06% (54) y 17.53% (27) de los ítems fuerón aceptados según dificultad, discriminación y
dificultad-discriminación. Para el periodo 2019-2019 la situación mejoró y =
se
tuvo que 80.95% (68), 44.05% (37) y 38.10% (32) fuerón=
aceptados según dificultad, discriminación y dificultad-discriminación. En
general, las dos pruebas mostraron bajos porcentajes de ítems que cumplen c=
on
los criteros. La distribución del índice=
de
dificultad de los ítems mostró que para el periodo 2018-2019, el 36% (56) de
ítems son altamente dificultosos (valores menores a 0.40), mientras que el
56.49% (87) tuvierón dificultades bajas (valores
mayores a 0.60). Tan solo el 7.51% tiene dificultades moderadas (puntajes e=
ntre
0.40 y 0.60). Esto se aprecia en la Figura 1 y a=
demás,
evidencia la falta de ítems en algunos rangos de difcu=
ltad,
por lo que la prueba es una dicotomía entre ítems faci=
les
y otros dificiles, lo que no permite una evalua=
ción
adecuada. Por otro lado, para el per=
iodo
2019-2019, en la Figura 1 se observa una mejor distribución de los items en el rango de dificultad, aunque no hubo items con dificultades menores a 0.30 y el 85.00% (71=
) de
los ítems tuvierón dificultades bajas. Con relación a la
discriminación de los ítems (ver Figura 2) para el periodo 2018-2019, el 64=
.94%
(100) tuvieron discriminaciones inferiores a 0.20 y casi todos los ítems
restantes no superaron una discriminación de 0.42, a excepción de uno que t=
iene
un valor de 0.54. Esto quiere decir que, en general, las discriminaciones de
los ítems son realtivamente bajas. Algo similar
ocurre en el periodo 2019-2019, donde el 55.95% (43) tuvo discriminaciones
inferiores a 0.20 y ninguín ítem superó el valo=
r de
0.54 en discriminación. Sobre calidad las medidas =
del
coeficiente alfa de Cronbach para las pruebas RAE de los periodos 2018-2019=
y
2019-2019 fueron muy similares (0.65 y 0.62, respectivamente) e indicaron q=
ue
las dos pruebas son altamente confiables; es decir, hubo consistencia y
precisión en los valores arrojados por el examen. En lo referente a validez =
de
contenido, se encontró que en los dos procesos de evaluación RAE se siguier=
on
los caminos que la psicometría enseña para hacer pruebas educativas y asegu=
rar
su validez de contenido. Figura 1. Dificultad pruebas RAE por ítem, periodos 2018-2019 y
2019-2019 Fuente: Elaboración propia.
=
Resultados.
Figura 2. Discriminación pruebas RAE por ítem, periodos 2018-2019 y 2019-2019=
Figura 3. Alfa de Cronbach pruebas RAE por ítem, periodos 2018-2019 y 2019-20=
19
Nota: Las líneas horizontales indican los coeficientes alfa de Cronbach de
las pruebas.
De aquí en adelante, para
mejorar la presentación de los resultados se estudiaron los ítems aceptados
según dificultad-discriminación. De estos, las CCI (ver Figura 4) para el
periodo de evaluación 2018-2019 muestran que algunas curvas de los ítems se
centraron en niveles altos de habilidad (
Para el periodo 2019-2019 =
hubo
curvas que se centraron en niveles de habilidad bajo con discriminaciones
moderadas (
En cuanto a la FII, para el
periodo 2018-2019 (ver Figura 5) se evidencia que algunos ítems dan buena
información para los niveles de habilidad bajo y alto. Además, se observó q=
ue
la mayor información (1.74) se da para el nivel de habilidad -2.4; por otro
lado, la evaluación del periodo 2019-2019 indicó que los ítems dieron exten=
sa
información en los niveles de habilidad bajo y moderado, y la mayor informa=
ción
(0.97) se observó en el nivel de habilidad -2.32.
Por otro lado, se estudiar=
on
las pruebas RAE como un todo, sin excluir aquellos ítems que no cumplieron =
con
los dictámenes establecidos. Esto fue evidente al observar en las FIP´s de los periodos 2018-2019 y 2019-2019 (ver Figu=
ra 6)
que estas pruebas evaluaron con más precisión a aquellos estudiantes con
niveles bajos y altos de habilidad. Este comportamiento no obedece a ningún
tipo de prueba estandarizada, por ejemplo, la prueba de detección, máxima y=
de
amplio rango.
En el mismo sentido, las C=
CP
del periodo 2018-2019 (ver Figura 7) en general muestran una pendiente pequ=
eña,
lo cual no permite una adecuada discriminación entre aquellos sustentantes =
con
mayor y menor habilidad; por ejemplo, con habilidades de -2 y 2 se tuvo una
esperanza de 82 y 103 aciertos, respectivamente; es decir, solo hubo 21
aciertos de diferencias entre 154 preguntas. De la misma manera, para el
periodo 2019-2019 se observó que, con habilidades de -2 y 2, hubo una esper=
anza
de 56 y 68 aciertos, con una diferencia de 12 aciertos de un total de 84
reactivos. En consecuencia, esta prueba también tuvo un bajo poder de
discriminación entre los diferentes niveles de habilidad.
Siguiendo el orden de idea=
s,
la calidad de la estimación TRI, la cual indica con qué precisión o
previsibilidad se ajustan los datos al modelo, mostró que para el periodo
2018-2019 las medidas de ajuste de los reactivos tuvieron una media de 1.00=
(d.e=3D0.12) y 0.90 (d.e=3D0.23) para infit y =
outfit,
respectivamente. En el periodo 2019-2019 los valores tuvieron un promedio de
0.99 (d.e=3D0.09) en=
infit y 0.97 (d.e=3D0.15)=
para
outfit. Esto indicó que hubo una buena calidad de la estimación del modelo,=
es
decir, el modelo de dos parámetros fue una aproximación adecuada para el
estudio de estas pruebas.
Figura 4. CCI o Probabilidad de Respuesta Correcta del Ítem según habilidad,
periodos 2018-2019 y 2019-2019
Figura 5. FII, Función de Información del Ítem por habil=
idad,
periodos 2018-2019 y 2019-2019
Figura 6. FIP, Función de Información de la Prueba según
habilidad, periodos 2018-2019 y 2019-2019
Figura 7. CCP, Puntuación Esperada de la Prueba según
habilidad, periodos 2018-2019 y 2019-2019
Conclusiones:
Baker, F., & Kim, S.-H. (2017=
). The Basics of =
Item
Response Theory Using R.
Barbero, M., Vila, E., & Holg=
ado,
F. (2015). Psicometría. Madrid: Sanz y Torres.
CACES. (2019a). Evaluación de
Carreras. Obtenido de https://www.caces.gob.ec/web/ceaaces/carreras
CACES. (2019b). RESOLUCIÓN No.
013-SE-06-CACES-2019. Obtenido de
https://www.caces.gob.ec/documents/20143/488487/RESOLUCI%C3%93N+No.+013-SE-=
06-CACES-2019.pdf/469ed064-0d77-71f4-6bba-758dbdee64fc
CENEVAL. (2012). Manual Técnico
enlace Media Superior 2008-2010.
Chávez, C., & Saade, A. (2009=
).
Procedimientos básicos para el análisis de reactivos Cuaderno técnico 8.
México.
Cisneros, S. (2019). Informe Gene=
ral
De Evaluación De Resultados De Aprendizaje Específico (RAE). UNACH, Riobamb=
a.
Obtenido de http://www.unach.edu.ec/wp-content/D.E.A/3_EVALUACIO%CC%81N%20D=
E%20RESULTADOS%20DE%20APRENDIZAJE%20ESPECI%CC%81FICOS/3_Informe%20RAE%20Iin=
stitucional%2018_19.pdf
Downing,
S., & Haladayna, T. (2006). Handbook of test
development. Lawrence Erlbaum Associates.
Linacre,
M. (2003). A user’s guide to Winsteps. Chicago:=
Mesa
Press.
Lord,
F. (1977). Practical Applications of Item Characteristic Curve Theory. Jour=
nal
of Educational Measurement, 14(2).
Lord,
F. (2012). Applications of Item Response Theory to Practical Testing Proble=
ms. Routledge.
Meneses, J., Barrios, M., Bonillo,
A., Cosculluela, A., Lozano, L., Turbany, J., &=
amp;
Valero, S. (2013). Psicometría.
Ministerio de Educación Nacional.
(1997, p. 17). Evaluación en el aula y más allá de ella. Bogotá.
Partchev, I., Maris, G., &
Hattori, T. (2017). A Collection of Functions Related to Item Response Theo=
ry
(IRT).
Robitzsch, A., Kiefer, T., & Wu=
, M.
(2019). Test Analysis
Modules.
Rodríguez, O., Casas, P., &
Medina, Y. (2005). Análisis Psicométrico De Los Exámenes De Evaluacion
De La Calidad De La Educación Superior (ECAES) En Colombia. Avances en
Medición, 3, 153-172.
PARA
CITAR EL ARTÍCULO INDEXADO.
Mullo Guaminga, H. S.,=
Marcatoma Tixi, J. A., Pé=
rez Londo, N. A., & Rodas Espinoza. ,
S. (2020). Análisis Estadístico de los Resultado de Aprendizaje Específico
Universidad Nacional de Chimborazo. Explorador Digital, 4(3),
214-225. h=
ttps://doi.org/10.33262/exploradordigital.v4i3.1342
El artículo que se publica es de
exclusiva responsabilidad de los autores y no necesariamente reflejan el
pensamiento de la Revista Explorad=
or
Digital.
El artículo qu=
eda
en propiedad de la revista y, por tanto, su publicación parcial y/o total en
otro medio tiene que ser autorizado por el director de la Revista Explorador Digital.
[1] Escuela Superior Politécnica=
de
Chimborazo, Facultad de Ciencias, Ecuador, hmullo@espoch.edu.ec; Instituto
Nacional de Evaluación Educativa, Ecuador, hector.mullo@evaluacion.gob.ec
[2] Universidad Nacional de
Chimborazo, Facultad de Ingeniería, Ecuador, jessica.marcatoma@unach.edu.ec=
[3] Escuela Superior Politécnica=
de
Chimborazo, Facultad de Ciencias, Ecuador, nperez@espoch.edu.ec
[4] Universidad Nacional de Chim=
borazo,
Facultad de Ingeniería, Ecuador, srodas@unach.edu.ec
[5=
] Siguiendo a Meneses et =
al.
(2013) junto con Chávez y Saade (2009)
www.exploradordigital.org
=
Vol.
4, N°3, p.