Recepción del artículo: 10-03-2026 | Aceptación del artículo: 17-04-2026 |   Publicación del artículo: 04-05-2026

 

 

Evaluación cognitiva constructiva cronométrica del aprendizaje sobre derecho mexicano en estudiantes de educación media superior

 

 

 

 

 

 

 

		RESUMEN
Palabras clave Aprendizaje académico, esquemas de conocimiento, evaluación cognitiva, estudiantes, educación media superior.		Este estudio exploró el efecto cognitivo del aprendizaje académico sobre el esquema de conocimiento de Derecho Mexicano en estudiantes de nivel medio superior. Los participantes desarrollaron una tarea de redes semánticas naturales, ellos definieron diez conceptos objetivo utilizando verbos, sustantivos o adjetivos (definidores), y calificaron la calidad de cada definidor de acuerdo con el grado de relación conceptual entre este y el concepto objetivo. Los resultados señalaron la existencia de un pre-esquema de conocimiento sobre el Derecho Mexicano en la memoria de los estudiantes antes de iniciar el curso, el cual presentó modificaciones en el contenido y la organización cognitiva después del curso, lo que sugirió que la exposición al contenido académico de la materia produjo una modificación sobre diferentes dimensiones cognitivas del aprendizaje. Estos hallazgos contribuyen a validar metodológica y teóricamente la evaluación cognitiva constructiva cronométrica como una herramienta valiosa para detectar las características cognitivas en la construcción del conocimiento en este campo disciplinar.
		ABSTRACT
Keywords Academic learning, knowledge schemas, cognitive assessment, students, high school education.		This study explored the cognitive effect of academic learning on the knowledge schema of Mexican Law in high school students. Participants completed a natural semantic network task, defining ten target concepts using verbs, nouns, or adjectives (definers), and rating the quality of each definer according to the degree of conceptual relationship between it and the target concept. The results indicated the existence of a pre-existing knowledge schema about Mexican Law in the students' memory before the course began. This schema underwent modifications in content and cognitive organization toward the end of the course, suggesting that exposure to the academic course produced a modification in different cognitive dimensions of learning. These findings contribute to the methodological and theoretical validation of chronometric constructive cognitive assessment as a useful tool for detecting cognitive characteristics in knowledge construction in this disciplinary field.

 

Citar como:   Sánchez-Hernández, M., y Morales-Martínez, G.E. (2025). Evaluación cognitiva constructiva cronométrica del aprendizaje sobre derecho mexicano en estudiantes de educación media superior. Revista Iberoamericana ConCiencia, 11(1), e0381.  https://doi.org/10.70298/ConCiencia.11-1.e0381

 

 

 

 

Introducción

Evaluar el aprendizaje académico de forma sistemática y adecuada es una actividad central dentro del proceso educativo porque permite obtener información valiosa sobre el avance y los logros que un estudiante ha alcanzado en su desarrollo académico dentro de un campo disciplinar, lo cual es esencial para tomar decisiones pertinentes en la mejora de los procesos de enseñanza y aprendizaje. No obstante, aún existen desencuentros teóricos, metodológicos y aplicados en este campo, ya que evaluar el aprendizaje es un desafío mayor por su naturaleza compleja y multidimensional, y las expresiones que caracterizan la presencia de este fenómeno oscilan en un amplio rango dado que dependen del campo de conocimiento que se esté evaluando, y el enfoque teórico con el que se desea examinar el aprendizaje académico.

Dado lo anterior, los modelos de evaluación del aprendizaje difieren en términos estructurales y por lo tanto también utilizan a menudo diferentes dimensiones para medir el aprendizaje. Por ejemplo, en el campo de la medicina Miller (1990) propuso un modelo piramidal que agrupaba los indicadores para evaluar el aprendizaje en cuatro niveles de competencia académica: saber, saber cómo, mostrar cómo y hacer. Esto significa que, existe un amplio rango de indicadores que van desde la formación conceptual hasta el dominio de la práctica clínica. En contraste, en el campo de la ingeniería Crawley et al. (2007) destacaron el modelo de evaluación CDIO por sus siglas en inglés (Conceive-Design-Implement-Operate), para examinar el aprendizaje de diferentes disciplinas de la ingeniería siguiendo un proceso de cuatro etapas: a) identificar las necesidades y posibles soluciones a un problema (concebir), b) planear como se construirá la solución (diseñar), c) construir la solución (implementar), y d) desarrollar para solucionar el problema (operar). Lo anterior significa que las manifestaciones a observar del aprendizaje bajo este modelo incluyen además del dominio conceptual, la integración de habilidades técnicas, de planeación, implementación y operación de estas habilidades en contextos reales.

En el área de biología, una de las aproximaciones más utilizadas para evaluar el aprendizaje es la taxonomía de Bloom, concentrando los esfuerzos de medición en los primeros dos niveles de la taxonomía que son el dominio del conocimiento y la comprensión sobre un tema, mientras que los menos atendidos son el nivel de aplicación, análisis y síntesis (Momsen et al., 2010). Básicamente lo que este modelo propone son indicadores de desempeño definidos por el tipo de proceso cognitivo que se activa en la memoria del estudiante. En el campo de las matemáticas, Caridade et al. (2024) aplicaron el modelo de SOLO (Structure of the Observed Learning Outcome) de Bigs y Collis (1982), el cual propone la evaluación de cinco grados de desarrollo de las estructuras cognitivas de conocimiento, que deben ser observados para examinar el aprendizaje:  el nivel pre-estructural, uni-estructural, multi-estructural, relacional, y resumen extendido. Ellos observaron que, la elaboración de las preguntas de los exámenes considerando este modelo facilitaba la identificación del nivel de integración y relación conceptual que habían alcanzado los estudiantes comparados con una evaluación convencional del aprendizaje. Es decir; este modelo evalúa el nivel alcanzado en la integración y organización cognitiva de un dominio de conocimiento dada la respuesta del estudiante.

Más recientemente Marzano y Kendall (2007) propusieron un modelo cognitivo alternativo donde incorporaron seis niveles de procesamiento, que corresponden a la recuperación, comprensión, análisis, utilización del conocimiento, metaconocimiento y pensamiento del sistema autorreferencial. Dubas y Toledo (2016) utilizaron este modelo para diseñar y evaluar una secuencia de aprendizaje que permitía desarrollar las habilidades de los estudiantes de una manera gradual y progresiva desde las funciones cognitivas de bajo rango hasta llegar a las funciones de orden superior. Ellos observaron que utilizando esta aproximación teórica la retroalimentación para maestros y estudiantes era más precisa y efectiva. Es decir; el modelo promueve la evaluación y el impacto en procesos de alto rango como la metacognición y el aprendizaje autorregulado.

En general, las taxonomías o modelos del aprendizaje como los anteriores dan cuenta de que no existe un único criterio para definir o evaluar el aprendizaje, cada modelo explora distintos indicadores de acuerdo con sus alcances y restricciones teóricas en línea con el campo disciplinar en el que se está aplicando. A este respecto, algunas taxonomías enfatizan el desempeño conductual observable (p. ej., la práctica profesional) mientras que otras se centran en la formación de estructuras del conocimiento (p. ej., esquemas pre-estructurales). De acuerdo con Arieli-Attali (2013), los modelos que centran las evaluaciones en el desempeño restringen las posibilidades de que los docentes puedan acceder a información sobre el proceso de aprendizaje de sus estudiantes, lo que limitaría sus alcances en la mejora de las prácticas de instrucción. Por ejemplo, el examen, aunque es el instrumento más comúnmente utilizado en el aula (Efu, 2019) para examinar lo que aprendieron los estudiantes en un campo de conocimiento, no provee información sobre la forma en cómo ellos construyen o asimilan el conocimiento de una forma personal, lo cual es de relevancia si se considera que esta sigularidad es una fuente de variabilidad en el desempeño del estudiante aun cuando el aprendizaje se dé en un mismo contexto. Además, Kane (2013) señala que la aplicación de esta clase de herramientas y la interpretación de los resultados obtenidos de ellas no considera los factores contextuales.

Ignorar el contexto y las condiciones individuales, puede  incrementar la probabilidad de cometer errores en la interpretación del desempeño y funcionamiento académico de los estudiantes, tal como planteó Messick (1984). Por ello, los modelos de evaluacón del aprendizaje requieren incluir las características cognitivas individuales de los estudiantes, así como sus necesidades cognitivas, emocionales y motivacionales, es decir el diseño de la evaluación del aprendizaje debe ir más allá de medir el conocimiento declarativo y contemplar el aprendizaje como un proceso integral y multidimensional (UNESCO, 2015). Sin embargo, aún no existe un instrumento que mida de forma exhaustiva e integral todas las dimensiones del aprendizaje académico (El-Yassin, 2015). Por ejemplo, para evaluar la dimensión cognitiva del aprendizaje, actualmente existe una amplia gama de herramientas para medir las diversas habilidades involucradas en el aprendizaje.

Entre los instrumentos de evaluación más utilizados se encuentran los ensayos que miden habilidades de síntesis, análisis crítico, organización conceptual, entre otros procesos (Johan, 2024), los proyectos de investigación que permiten observar los procesos de selección, abstracción, y elaboración de la información, ya que como mencionan Trixa y Kaspar (2024), investigar implica buscar, evaluar, analizar fuentes de información y datos, formular preguntas, discutir lo observado e integrarlo con el conocimiento previo, y elaborar conclusiones. Estas actividades requieren de la acción de procesos cognitivos de alto rango relacionados al procesamiento de la información y a la formación de estructuras cognitivas de conocimiento. Cen et al. (2021) utilizaron la solución de casos como una herramienta de evaluación útil en la observación del razonamiento, la toma de decisiones, la metacognición y la aplicación del conocimiento teórico y las habilidades prácticas a contextos reales.

En términos generales, las nuevas formas de aproximar la evaluación pueden contribuir a examinar un amplio espectro de indicadores del aprendizaje, los cuales eran imposibles de acceder hace unas décadas, sin embargo, aún existen retos en el desarrollo de las estrategias y sistemas de evaluación. A este respecto, Iqbal et al. (2025) señalaron que es difícil alcanzar un nivel óptimo de confiabilidad en la revisión de las respuestas que dan los estudiantes en este tipo de instrumentos, debido a que existe un factor de subjetividad implícito en la calificación de respuestas abiertas. En adición, el diseño, aplicación y revisión en este tipo de instrumentos demanda una alta cantidad de tiempo y recursos para poder utilizarlos (Schinske & Tanner, 2014; González et al., 2017), lo cual es costoso, y también existen dificultades para alcanzar la validez predictiva del constructo examinado, ya que dada la naturaleza de la revisión de las respuestas no es fácil generalizar los resultados más allá de ese ámbito específico (Obi et al., 2024).

Por otra parte, a pesar de la riqueza instrumental en este campo, el uso de herramientas como las antes mencionadas, aunque brinda información valiosa, proveen evidencia fragmentada sobre la naturaleza del aprendizaje, debido a que sus indicadores exploran solo una parte del aprendizaje, y no suelen combinarse o complementarse con la medición de otras dimensiones utilizando un mismo marco explicativo. Para aproximar este desafío se requiere de la combinación de métodos, para obtener evidencia del aprendizaje considerando su naturaleza multidimensional y multimodal. Una forma de aproximar este desafío es importando los avances en el estudio científico del aprendizaje humano al campo de la educación. A este respecto,  la psicología cognitiva (psicología cognitiva experimental, ciencia cognitiva, neurociencias cognitivas, neuropsicología cognitiva) cuenta con un variado abanico de herramientas para medir en diferentes niveles el aprendizaje como proceso y como producto, esto sin duda habilita al investigador, docente o interesado en este campo a construir modelos integrales de evaluación que incluyan y entrelacen indicadores de diversa naturaleza sin perder la coherencia teórica, ni el rigor metodológico (Morales-Martinez et al., 2023, 2024; Morales-Martinez, Garcia-Torres, et al., 2021).

Con respecto a lo anterior, Morales-Martinez y Sanchez-Hernandez (2025) propusieron el Modelo de la Tríada Cognitiva para la Evaluación y el Fortalecimiento del Aprendizaje, el cual combina tres de los pilares de la educación: la evaluación, la enseñanza y el aprendizaje. Este modelo cíclico comprende la ejecución de cuatro etapas, durante la primera y la tercera se realiza la evaluación cognitiva, emocional y contextual de los procesos involucrados en el aprendizaje. Durante la segunda etapa se realiza la intervención educativa coherente y congruente con los resultados de la primera evaluación. Durante la cuarta etapa se realizan los ajustes a la intervención educativa de acuerdo con lo observado en la segunda evaluación, para finalmente reiniciar el ciclo del modelo: evaluación-implementación-evaluación-mejora. En cada etapa se considera el análisis y/o intervención multinivel (cognitivo, emocional, contextual, social, cultural, etc.) a través de una o más de las dimensiones fases cognitivas del aprendizaje contempladas en el modelo: construcción, integración, y consolidación.

En este artículo, es de interés abordar el primer pilar del Modelo de la Tríada Cognitiva, dado que el proceso de evaluación es la piedra angular donde se cimentan el aprendizaje y la enseñanza, ya que esta, provee información para tomar decisiones relacionadas a saber dónde empezar, cómo continuar o si es necesario cambiar de rumbo durante el ciclo enseñanza aprendizaje. La primera etapa de este modelo involucra el análisis secuenciado y entrelazado de tres fases del aprendizaje:

1.       Construcción del conocimiento, la cual comprende:

a)      Explorar los contenidos con los que inicia un estudiante su aprendizaje, después identificar el contenido que incorpora o elimina de sus estructuras de conocimiento cognitivas como resultado del aprendizaje formal o informal, y determinar el tipo de contenido, cualidades cognitivas del esquema entre otros aspectos que ocurren durante el proceso de construcción o reconstrucción cognitiva del conocimiento.

b)      Examinar la organización cognitiva de los contenidos en las estructuras de la memoria, identificando el tipo de relaciones entre los conceptos o conjuntos de conceptos, la coherencia entre ellos, etc.

c)       Analizar el tipo de estructuras cognitivas de conocimiento que el estudiante construye en su proceso de aprendizaje, identificar el grado de estabilidad de las mismas, su nivel de flexibilidad, nivel de complejidad, entre otras propiedades cognitivas que las caracterizan.

2.       Consolidación del conocimiento que implica:

a)      Indagar si las estructuras cognitivas de conocimiento se consolidaron en la memoria a largo plazo y si estas pueden ser accedidas de forma apropiada. Aquí se miden generalmente indicadores temporales de accesibilidad y dinámica cognitiva de activación y coactivación esquemática del conocimiento.

3.       Integración del conocimiento que involucra:

a)      Explorar los mecanismos, procesos y funciones de integración del conocimiento implicados en la formación, uso y aplicación de las estructuras cognitivas de conocimiento en diversos contextos innovando soluciones en diferentes escenarios.

El análisis de estas tres fases del aprendizaje se ha dirigido a través de la implementación del Modelo de Evaluación Cognitiva Constructiva Cronométrica del Aprendizaje o C3-LEM por sus siglas en inglés (Chronometric Constructive Cognitive Learning Evaluation Model). Este modelo explora diferentes dimensiones cognitivas del aprendizaje entendido como la construcción, integración, y consolidación de las estructuras de conocimiento que se forman en la mente del aprendiz al participar en una formación académica. En general, el C3-LEM permite examinar los cambios organizativos, estructurales, temporales, dinámicos y de contenido que suceden en los esquemas de conocimiento como consecuencia de las experiencias de aprendizaje a las que están expuestos los estudiantes durante un curso académico (Morales-Martinez, Ángeles-Castellanos, et al., 2020). Para ello, se implementan de manera conjunta y entrelazada dos tipos de evaluación cognitiva del aprendizaje: Constructiva y Cronométrica (Figura 1).

 Figura 1

Las fases de la evaluación cognitiva constructiva cronométrica 

Nota: Extraído de “Cognitive e-tools for diagnosing the state of medical knowledge in students enrolled for a second time in an anatomy course,” by Morales-Martinez, Ángeles-Castellanos, et al., 2020, International Journal of Learning, Teaching and Educational Research, 19(9), p 346 (https://doi.org/10.26803/ijlter.19.9.18). Copyright 2020 por los autores y  IJLTER.ORG

Para el presente estudio es de especial relevancia el examen de la construcción de las estructuras de conocimiento, el cual desde la perspectiva del C3-LEM consiste en la medición y análisis de los cambios cognitivos que experimenta una estructura de conocimiento debido a las las experiencias de aprendizaje, tales como incementar o decrementar el número de nodos conceptuales, elevar la calidad del contenido conceptual, modificar el tipo y número de relaciones, disminuir o potenciar la co-ctivación conceptual entre nodos, entre otros aspectos (Morales-Martinez et al., 2023). Para ello, de manera convencional se aplica la técnica de Redes Semánticas Naturales o RSN al inicio y al final del curso (Morales Martínez, López Pérez, et al., 2020), aunque también se puede utilizar las RSN en la parte intermedia del curso para monitorear el progreso en la construcción de la estructura de conocimiento. Esta técnica fue propuesta por Figueroa et al. (1976) y es una aproximación metodológica para examinar la construcción del significado sobre diferentes áreas de la vida humana.

En el campo académico la técnica de RSN ha mostrado ser útil para explorar el desarrollo de esquemas cognitivos de conocimiento (Morales-Martinez et al., 2024) en diferentes disciplinas (p. ej., psicología, ingeniería, mediciana) y dominios de concimiento como el de cognición (Morales-Martinez, Garcia-Torres, et al., 2021), Matemáticas (Morales Martínez, Villarreal Lozano, et al., 2020), Medicina (Morales-Martinez, Ángeles-Castellanos, et al., 2020), Biología (Urdiales-Ibarra et al., 2018) entre otros. De acuerdo con Lopez (1996), y Lopez y Theios (1992) la técnica de RSN requiere que los participantes utilicen definidores (verbos, sustantivos, pronombres, y adjetivos) para definir, uno o varios conceptos objetivo dentro de un campo de conocimiento esquemático, y evaluar el grado al que se relacionan estos definidores con el concepto objetivo que se está definidendo. Los resultados de estos estudios señalan que los estudiantes que son principiantes en el aprendizaje de un tema, generalmente ingresan a los cursos con pre-esquemas del tema (Morales-Martinez et al., 2017), los cuales están formados de nodos conceptuales provineintes de esquemas generales (Morales-Martinez, Garcia-Torres, et al., 2021).  También, la técnica de RSN identifica dificultades en la estructuración cognitiva del conocimiento, Morales-Martinez, Ángeles-Castellanos, et al. (2020) observaron que estudiantes con bajo rendimiento presentan esquemas de conocimiento fragmentados. También la integración de los nodos de información de sus esquemas pueden no estar acordes al nivel del desarrollo académico que promueve el curso que ellos tomaron (Morales Martínez et al., 2022).

En general, los resultados de los estudios C3-LEM sugieren que es posible encontrar características cognitivas comunes en la construcción de las estructuras de conocimiento en diversos campos disciplinares. Sin embargo, la validación de este tipo de modelo aún está en fase temprana por lo que requiere la acumulación sistemática, progresiva y constante de evidencia a través de diferentes áreas del conocimiento para poder encontrar patrones generales que sean transversales al aprendizaje en diferentes disciplinas y niveles de desarrollo académico. Partiendo de esto, el presente trabajo contribuye con nueva evidencia sobre la formación y comportamiento cognitivo de los esquemas de conocimiento sobre Derecho Mexicano en estudiantes de Educación Media Superior. Entonces el interés principal fue indagar sobre ¿cuáles son las características organizativas y estructurales iniciales y finales del esquema de conocimiento sobre Derecho Mexicano en estudiantes de educación media superior? ¿Cuáles son las diferencias y similitudes en la formación de estas estructuras comparadas con las formadas en otros campos disciplinares?

Método

Diseño: Las presentes autoras diseñaron un preexperimento para examinar los cambios en el estado de conocimiento relacionado con esquema de Derecho Mexicano, los cuales son debidos al aprendizaje académico adquirido por estudiantes de educación media superior. Específicamente, se aplicó la técnica de RSN al inicio y al final del curso, y se observaron los cambios en cuatro dimensiones de medición esquemática propuestas por Morales-Martinez, Mezquita-Hoyos, et al. (2021): contenido, organización, estructura, y temporalidad del esquema cognitivo de conocimiento evaluado.

Participantes

Los participantes fueron 48 estudiantes inscritos en el último año de preparatoria. 71% de los estudiantes eran mujeres y 29% hombres. El rango de edad de los estudiantes era de 17 a 19 años (M= 17.43, DS= .58).

Para la participación en el estudio se consideraron como criterios de inclusión: a) estar inscrito en la asignatura relacionada con temas de Derecho mexicano, y b) aceptar participar de manera voluntaria, dando su asentimiento verbal previo al estudio.  Y como criterios de exclusión se estableció: a) el retiro del asentimiento durante el proceso, y d) no completar las dos aplicaciones del instrumento.

La participación se llevó a cabo dentro del contexto de la clase y se utilizó como un ejercicio complementario de consolidación de los contenidos revisado. Además, los estudiantes obtuvieron puntos por su participación en la clase, sin embargo, la no participación o el  abandono de la actividad no tenía consecuencias académicas.

           Instrumentos: Se diseñó un instrumento computarizado de evocación semántica, el cual consistía en la presentación individual de 10 conceptos centrales al curso extraídos a través del Protocolo para la recolección de conceptos objetivo y definidores centrales y diferidos o PRECODECD (Morales, 2015). Esta guía permite a los investigadores en colaboración con el o los docentes del curso evaluado, identificar los conceptos más relevantes que engloban el contenido del curso. En el presente estudio, el docente señaló como conceptos objetivo: derecho, ley, normas, Constitución, Estado mexicano, derecho social, derecho penal, derecho electoral, participación ciudadana, ciudadanía, los cuales sirvieron para alimentar el software EVCOG (Morales & López, 2018a, 2018b, 2018c, 2018d), el cual sirvió para diseñar, aplicar, capturar y analizar de los datos del estudio de representación mental.

          Procedimiento: El estudio se desarrolló en tres fases, durante la primera se obtuvo la autorización institucional para acceder a la muestra, el consentimiento del docente, y el asentimiento de los estudiantes. Para ello, los investigadores proporcionaron a la institución, al docente, y a los estudiantes información sobre los objetivos, el procedimiento, los beneficios y derechos de participar en el estudio. Durante la segunda fase, se realizó la evaluación del aprendizaje, siguiendo la secuencia del C3-LEM (Morales-Martinez et al., 2023, 2024), la cual propone aplicar la técnica de RSN modificada por Lopez and Theios (1992) y Lopez (1996) al inicio y al final de un curso. Entonces, los participantes asistieron a dos sesiones grupales para practicar la tarea de RSN y familiarizarse con la actividad, despejar sus dudas y recibir las instrucciones propias del estudio. Después, ellos realizaron la tarea experimental, la cual consistía en definir, uno a uno, diez conceptos objetivo utilizando como definidores verbos, sustantivos, adjetivos y pronombres, las definiciones debían excluir el uso de frases, preposiciones y artículos. Además, para realizar esta tarea, los participantes siguieron las tres restricciones propuestas por Morales-Martínez, García-Torres, et al. (2025):

1.       Generar definidores que estén directamente relacionados a la materia, sin asociación libre.

2.       La definición debe generarse en un período de tiempo de 60 segundos.

3.       Contestar al azar los conceptos objetivo.

Una vez terminado el período de definición, los participantes calificaron los definidores puntuando el grado de relación o cercanía que estos tenían con el objetivo que estaban definiendo, utilizando una escala de respuesta de 1 a 10, entre menor era el número otorgado, menor era la calidad o la relación que el definidor tenía con el objetivo. El tiempo aproximado para realizar la tarea fue de 15 minutos.

La primera aplicación fue presencial, la segunda aplicación se llevó a distancia debido a la pandemia COVID-19. Para ello los estudiantes accedieron a una página web de donde podían descargar los instrumentos y revisar algunos vídeos para recordar el procedimiento de aplicación, también el profesor proveyó las instrucciones en una clase en línea.

            Análisis de datos: Los autores examinaron los datos de RSN a través de diferentes indicadores sobre el contenido y otras propiedades de las redes semánticas propuestos por Figueroa et al. (1976), modificados y descritos por Lopez (1996) y Lopez y Theios (1992) de la siguiente manera:

-          Riqueza semántica o valor J: cantidad de conceptos diferentes que los participantes pueden generar en cada concepto.

-          Peso semántico o valor M: nivel percibido de la calidad del concepto como definidor del objetivo.

-          Grupo SAM (Semantic analysis of M): se obtiene identificando los 10 definidores con mayor peso semántico para cada concepto objetivo.

-          Valor G o densidad semántica entre los conceptos de la red.

-          Valor FMG: indica la distancia semántica entre el definidor y el objetivo definido. 

También se midió el tiempo interrespuesta o TIR, medida propuesta por López Ramírez (comunicación personal, 9 de agosto de 2014), la cual mide el tiempo que un participante tarda en recuperar de su memoria los conceptos definidores. El indicador fue medido a través del software EVCOG.

El segundo análisis se basó en el análisis visual de la organización y estructura de los conceptos. Para ello, se construyó la Matriz SASO, la cual es una matriz de pesos de asociación entre los conceptos de las RSN basada en la coocurrencia de los definidores a través de los objetivos (Lopez, 1996; Lopez and Theios, 1992). La probabilidad de coocurrencia entre los conceptos se calculó utilizando la siguiente fórmula:

W_IJ = -1n{[p(X=0 & Y = 1) p(X=1 & Y = 0)]*[p(X=1 & Y = 1) p(X=0 & Y = 0)]^-1}

[1]

Posteriormente, las presentes autoras analizaron la Matriz SASO con el GEPHI (Bastian et al., 2009), el cual es un software de código abierto que permite obtener la representación visuoespaial de la distribución y organización de los nodos o vértices, en este caso los definidores. También realizaron un análisis de escalamento multidimensional sobre los datos de los participantes para observar los cambios en la organización visual de los coneptos objetivo debidos al aprendizaje. Aunque este último análisis se realizó con la variante sugerida por Morales-Martinez, Trejo-Quintana et al. (2021), a la cual consiste en calcular la comunalidad entre los objetivos y con ella realizar el escalamiento multidimensional para observar el comportamiento general de los nodos centrales al esquema evaluado.

Finalmente, los autores aplicaron los indicadores de la evalución cognitiva cronométrica incluidos o propuestos en el Modelo de la Tríada Cognitiva para Evaluar y Potenciar el Aprendizaje Morales-Martinez y Sanchez-Hernandez(2025), Morales-Martinez et al. (2024), Morales-Martínez et al. (2023) que incluyen indicadores de comunalidad, diferencial de cambio interno, entre otros.

Resultados

Los resultados que se presentan a continuación consideraron los datos de 34 de los 48 participantes del estudio. Los 14 de participantes que no concluyeron el estudio reportaron problemas de acceso a internet, falta de equipos de cómputo o decesos en su familia por COVID-19.

Análisis del contenido de las RSN

A nivel general el análisis de las RSN mostró que hubo un incremento significativo en la riqueza semántica (valor J) hacia la fase final del curso (Tabla 1). En contraste no se observaron cambios significativos en la densidad semántica (Valor G), el peso semántico (Valor M), o los tiempos interrespuesta (TIR).

Tabla 1

Análisis T de student y Wilcoxon para cada indicador

Nota: el nivel de significancia se estableción en p≤.05

 

La ausencia de diferencias significativas en los indicadores G, TIR pueden estar relacionados a que de manera general los puntajes en cada indicador ocupan rangos similares a través de las dos fases del estudio y hay una amplia variabilidad de los datos, tal como se muestra en la Figura 2.

 

Figura 2

Comparación integrada de los puntajes Z por indicador y fase

Nota: Caja = Q1-Q3, Línea: mediana; bigotes=1.5, círculo=media, puntos=outliers

 

Para observar si hubo cambios específicos a través de los definidores se examinó   la tendencia de las diferencias de cambio estandarizadas a través de todos los indicadores (Figura 3). Los resultados señalaron que el objetivo con mayor incremento en la J fue derecho penal (ΔZ = +3.08) y el objetivo con mayor decremento fue normas (ΔZ = −2.46). Es interesante observar que hubo un incremento en la densidad semántica (G) del concepto de participación ciudadana (ΔZ =−1.33), mientras que ley disminuyó su choesión semántica (+1.04).

Figura 3

Tendencia de cambio estandarizado para los indicadores a través de cada conceptos objetivo

 

Nota: El analisis se realizó sin distinguir el tipo de definidores que aparecieron en cada fase. 

 

En relación con el valor M, derecho penal incremento su peso semántico (ΔZ =+1.41), y Estado mexicano (ΔZ = 1.07), y derecho social presentó un decremento fuerte en este indicador (ΔZ =−1.46). En cuanto al TIR, en varios objetivos, tales como derecho penal (ΔZ =−1.19), ley (ΔZ =−1.95),  normas (ΔZ =−1.88),  se observa que sus definidores en general, mejoraron su accesibilidad a la memoria, mientras que en el objetivo Constitución sus definidores requirieron significativamente un mayor tiempo de acceso hacia el final del estudio ( ΔZ =+2.17).

Por otra parte, para observar si existió continuidad lexica de una fase a otra se realizó un breve escrutinio de la comunalidad y singularidad de la red a través de las dos fases. La Figura 4 muestra que  se compartió un alto porcentaje de definidores comunes a través de amabas fases. Durante la primera fase se presentaron 39 definidores de los cuales el 17.95% eran singulares y el resto pertenecían al grupo de los comunes, mientras que en la segunda fase el 28.89 % de los definidores fue singular, el resto coincidían con los de la primera fase.

Figura 4

Comunalidad y singularidad entre la primera y la ultima fase

Análisis de la organización cognitiva de la RSN

Los autores utilizaron el software GEPHI (Bastian et al., 2009) para obtener los gráficos de los cambios en la organización y estructura de las RSN antes y después del curso. La Figura 4. muestra los cambios organizativos del esquema de derecho producidos por el aprendizaje de los estudiantes a través del curso. Note que antes del curso, los estudiantes ya contaban con una organización de los conceptos relacionados al curso. Los nodos con mayor número de conexiones fueron sociedad, leyes, y normas mientras que al final aparece leyes y sociedad como los que cuentan con mayor número de conexiones. Además, se muestran cambios en la estructura de la RSN, note que al inicio del semestre se observa una estructura de cuatro módulos conceptuales. El primer grupo (morado) incluyó el 35% de los definidores relacionados al orígen del derecho político leyes, gobierno, comunidad, libertad, obligaciones, población, igualdad, votación, participación, presidente, democracia, voto, elección, decisión). El segundo módulo (verde) agrupó  el 30% de los conceptos relacionados con lo jurídico (normas, Constitución, justicia, derechos, cumplir, sanciones, orden, artículos, cárcel, juicio, castigo, abogado). El tercer modulo (azul) apiñó el 17.5 % de los definidores vinculados con la función social del derecho (sociedad, beneficio, ideas, derecho, opinión, cultura, estado). El cuarto moduló (naranja) concentró el 17.5% de los conceptos relacionados a la vivencia cotidiana del derecho, (personas, respeto, reglas, ciudadano, convivencia, conducta, comportamiento).

Figura 4

Estructura y organización de la RSN sobre Derecho Mexicano al inicio y al final del curso

 

Hacia el final del semestre la estructura se conformó de cinco módulos (Figura 4), el primero (azul) concentró el 17.78% de los definidores de la red, los cuales estaban relacionados con al sistema jurídico (normas, cárcel, delitos, autonomía, igualdad, penas, jurídico, artículos). El segundo modulo (naranja) representó el  15.56%de la red y estuvo relacionado con el tema de la democracia (leyes, como voto, gobernante, elección, presidente, democracia, votación).  El tercer módulo (verde) apiñó definidores asociados  con los principios jurídicos como justicia, derecho, respeto, conducta, principio, orden, reglas, sanciones, convivencia. El cuarto grupo (verde oscuro) concentró definidores vinculados con los procesos sociales y la  participación ciudadana (intervención, desarrollo,  decisiones, recursos, opiniones, participación). Y el quinto grupo (morado) agrupó el 33.3% de los definidores, los cuales hacen referencia a las cuestiones sociopoliticas y de ciudadanía (sociedad, Constitución, población, libertad, derechos, territorio, país, municipio, pueblo, obligaciones, personas, ciudadano, comunidad, estado, gobierno).

Varios aspectos interesantes resaltan en la organización de la red, por ejemplo, observe que, al inicio del curso el definidor de gobierno se agrupó con conceptos relacionados con la funciones del derecho, valores jurídicos y sociedad, mientras que al final del curso se redujo su número de conexiones, y los definidores parecen estar más relacionados a conceptualizar al gobierno como un órgano del estado, con competencia territorial, y regído por una Constitución (Figura 5).

Figura 5

Cambios en el tipo y número de conexiones del definidor gobierno

 

Análisis de la estructura cognitiva de la RSN

Finalmente, los autores exploraron la estructura cognitiva del esquema de Derecho Mexicano a través de un análisis de escalamiento multidimensional de los diez conceptos objetivo que constituían el contenido central del curso. Los resultados señalaron que los participantes no tuvieron cambios sustanciales en la estructura de conocimiento, aunque hubo desplazamientos concpetuales mínimos dentro de la organización de esta (Figura 6).  La Figura 6 muestra que al inicio del curso los estudiantes acomodaron los conceptos en dos dimensiones, en el eje horizontal observamos la dimensión normativo-político. En el lado izquierdo de esta dimensión se organizaron los conceptos relacionado al ambito normativo y regulatorio del derecho (derecho penal, derecho, ley, Constitución, derecho social, normas) y en el lado derecho se organizaron los conceptos relacionados con lo político y la participación (derecho electoral, ciudadanía, participación ciudadana y Estado mexicano). Por otra parte, el eje vertical representa la dimensión sobre lo social y lo jurídico. En la parte superior de la gráfica los participantes acomodaron conceptos relacionados con lo jurídico formal (derecho electoral, derecho penal, derecho, ley, Constitución, derecho social). Mientras que en la parte inferior los participantes acomodaron conceptos relacionados con el ámbito social (normas, ciudadanía, Estado mexicano, participación ciudadana).

Figura 6

Organización de los conceptos objetivo antes del curso y después del curso

Al final del curso los estudiantes acomodaron los objetivos conceptuales en la misma forma en cómo lo hicieron antes del curso, aunque mostraron cambios mínimos en la organización de los conceptos. Esto implica que la configuración conceptual mantuvo una alta estabiidad.

Discusión

Este estudio examinó los cambios en la organización y estructura del esquema de conocimiento sobre derecho mexicano en estudiantes de bachillerado. Primero los autores diagnosticaron el estado inicial del esquema de conocimiento de los estudiantes, considerando cuatro aspectos cognitivos, contenido de los nodos conceptuales, la organización de los nodos conceptuales (relaciones esquemáticas entre los nodos), la estructura (agrupaciones entre los nodos) y el significado general que resulta de la combinación de estos aspectos.

Los resultados señalaron que los estudiantes ingresaron al curso con un esquema previo sobre el derecho mexicano. Las estructuras preesquemáticas han sido observadas también en otros dominios de conocimiento como en la biología (Urdiales et al., 2018) y la psicología (Morales-Martinez, Lopez-Perez et al., 2020). Las estructuras iniciales de conocimiento generalmente son rudimentarias, sin embargo, en este estudio, los estudiantes de bachillerato parecían contar con información sofisticada del derecho mexicano tanto general como específica. El docente que impartió la materia expresó sorpresa al darse cuenta de que los estudiantes contaban con un esquema previo sobre el tema y que los estudiantes tenían identificados los conceptos más centrales al curso (sociedad y leyes). Él mencionó que previamente a este curso, había impartido la materia de estructura socioeconómica y política de México a este mismo grupo, y de forma no planeada, ni sistemática, introdujo en este curso temas sobre el  Derecho Mexicano. De acuerdo con Morales-Martínez (2020) los estudiantes de manera implícita, pueden almacenar información que no necesariamente pertenece al contenido oficial del curso, porque les han señalado que es relevante o está enmarcaada en un contexto emocional saliente para los estudiantes. 

En este estudio, los participantes incrementaron de forma significativa, la riqueza semántica (valor J), y la relevancia conceptual (valor M) de su esquema de conocimiento sobre Derecho Mexicano. En contraste, la densidad semántica (G) y  la temporalidad (TIR) no presentaron cambios significativos (Tabla 1, Figura 2). Esto sugiere que el aprendizaje de los estudiantes se relacionó más con una expansión del repertorio conceptual sobre  Derecho Mexicano, que con una modificación sobre la estructura del esquema, a este respecto los datos señalaron que no hubo cambios en la cohesión conceptual (valor G) o  en la consolidación del esquema (TIR), es decir; la distancia semántica entre los conceptos y su accesibilidad esquemática permaneció estable. No obstante, a nivel local si hubo un cambio en las relaciones entre los conceptos definidores del esquema. Por ejemplo, al inicio del semestre el definidor de gobierno estaba definido de forma difusa y general y confomre avanzó el curso los estudiantes lo asociaron con un concepto más técnicos, como un órgano del estado con delimitación territorial (Figura 5). También hubo cambios marcados en objetivos específicos como el incremento de la riqueza semántica en derecho penal, o el decremento en el nivel de accesibilidad en el objetivo de Constitución (Figura 3). Estos hallazgos indican que existen cambios en la dinámica interna del esquema, aun cuando en su estructura general parece ser estable (Figura 6).  Lo anterior implica que el aprendizaje a veces no se presenta de froma explícita sino que sucede en el nivel micro del esquema.  Por ejemplo, los estudiantes tuvieron un cambio en la organización de los conceptos y por lo tanto en el significado que dan al Derecho Mexicano, tal como se ilustra en la Figura 4.

Los resultados anteriores podrían reflejar un proceso evolutivo en la comprensión de la sociopolítica, esto es propio de la adolescencia, ya que tal como se asume esta evolución también sucede en otros campos del desarrollo. Por ejemplo, Gonzalez et al. (2013) reportaron que en una simulación computacional sobre el aprendizaje de un curso de desarrollo moral, los resultados señalaban el definidor de policía como central a la definición de padres, lo que sugiere que durante la adolescencia las figuras de autoridad se conceptualizan más hacia el control y la sanción. En el presente estudio, los estudiantes hicieron referencia al objetivo de normas bajo una concepción de control y punitiva, sin embargo, también se observó una transición del concepto de sociedad de una visión general hacia una noción más clara vinculada a elementos institucionales, normativos y de ciudadanía.

En general, los resultados del estudio señalan que después de la instrucción, los estudiantes modificaron su significado sobre el dominio jurídico, reorganizando así su esquema previo en este campo de conocimiento. Este cambio esquemático parece ser consistente con los nuevos conocimientos que los estudiantes revisaron durante el curso, aunque el diseño del estudio no permite establecer una relación causal entre la instrucción y los cambios obsrevados en la memoria semántica del estudiante, sí puede, por lo menos sugerir que, dicha intervención tuvo un efecto sobre la construcción de conocimiento en la memoria de los estudiantes. De hecho los cambios en la organización de los contenidos del esquema son consistentes con los procesos de diferenciación y regorganización esquemática observados en los estudios C3-LEM enmarcado en la teoría de los esquemas, en donde el aprendizaje involucra ir más allá de la incorporación de nueva información al esquema.

Conclusiones

Los cambios en los patrones esquemáticos identificados en el presente estudio se suman a la evidencia encontrada en estudios C3-LEM en otros campos disciplinares, acerca de la transversalidad de los procesos cognitivos presentes en la construcción de las estructuras de conocimiento durante el aprendizaje debido a las experiencias académicas. Aunque en conjunto los resultados del estudio apuntan a la validez de la evaluación cognitiva constructiva cronométrica para identificar los cambios en las estructuras cognitivas de conocimiento ocurridos como resultado del aprendizaje académico, es importante mencionar que los controles del estudio fueron limitados por lo que no se pueden establecer inferencias causales sólidas en los fenómenos de reconstrucción de los esquemas de conocimientos sobre Derecho Mexicano. Lo que abre la invitación a incrementar los esfuerzos por realizar futuros estudios en este campo utilizando esta y otras metodologías similares a la propuesta en el C3-LEM. Lo cual permitirá aportar mayores datos sobre la forma en cómo los aprendices organizan, estructuran, acceden y utilizan lo que han aprendido. Esta información puede ser esencial para brindar retroalimentación eficiente y efectiva a maestros y estudiantes, que contribuya de forma constructiva a su proceso de toma de decisiones, y a la creación o mejora de sus estrategias de aprendizaje o de enseñanza, e incluso aportar herramientas valiosas para modificar los programas de los cursos dando secuencias y contenidos más adaptados a las necesidades cognitivas de los estudiantes.

Conflicto de intereses

Los autores declaran no tener conflicto de intereses.

 

Responsabilidad ética

Se obtuvo el consentimiento institucional y del docente y el asentmiento verbal de los estudiantes para participar en el estudio. La institución participante hizo revisión del protocolo de investigación autorizando la aplicación.

 

Financiamiento

“Parte de esta investigación fue realizada gracias al Programa de Apoyo a Proyectos de Investigación e Innovación Tecnológica (PAPIIT) de la UNAM << IN402025>> Agradezco a DGAPA-UNAM por el apoyo recibido.”​

 

Referencias

Arieli-Attali, M. (2013, October 20−25). Formative assessment with cognition in mind: The cognitively based assessment of, for and as learning [Paper presentation]. 39th Annual Conference: Educational Assessment 2.0: Technology in Educational Assessment, Tel Aviv, Israel. https://www.iaea.info/conference-proceedings/

Bastian, M., Heymann, S., & Jacomy, M. (2009, May 17−20). Gephi: An Open-Source Software for Exploring and Manipulating Networks [Paper presentation]. Association for the Advancement of Artificial Intelligence, Third International AAAI Conference on Weblogs and Social Media, San Jose California, United States. https://gephi.org/publications/gephi-bastian-feb09.pdf

Biggs, J. B., & Collis, K. F. (1982). Evaluating the quality of learning: The SOLO taxonomy (Structure of the Observed Learning Outcome). Academic Press.

Caridade, C., Pereira, V., & Borges, I. (2025). Using SOLO taxonomy to develop a structured design for mathematics exam questions. In D. M. L. D. Rasteiro, F. Yilmaz, A. Queiruga-Dios, J. M. Vaquero, & I. M. Mazilu (Eds.), Mathematical methods for engineering applications: ICMASE 2024 (pp. 201-210). Springer. https://doi.org/10.1007/978-3-031-84151-4_17

Cen, X.-Y., Hua, Y., Niu, S., & Yu, T. (2021). Application of case-based learning in medical student education: A meta-analysis. European Review for Medical and Pharmacological Sciences, 25(8), 3173–3181. https://doi.org/10.26355/eurrev_202104_25726

Crawley, E. F., Malmqvist, J., Östlund, S., Brodeur, D. R., & Edström, K. (2014). Rethinking engineering education: The CDIO approach (2nd ed.). Springer International Publishing. https://doi.org/10.1007/978-3-319-05561-9 

Dubas, J. M., & Toledo, S. A. (2016). Taking higher order thinking seriously: Using Marzano’s taxonomy in the economics classroom. International Review of Economics Education, 21, 12–20. https://doi.org/10.1016/j.iree.2015.10.005

Efu, S. I. (2019). Exams as learning tools: A comparison of traditional and collaborative assessment in higher education. College Teaching, 67(1), 73–83. https://doi.org/10.1080/87567555.2018.1531282

El-Yassin., H. D. (2015). Integrated assessment in medical education. Journal of Contemporary Medical Sciences, 1(4), 36–38. http://www.jocms.org/index.php/jcms/article/view/51

Figueroa, J. G., Gonzalez, E. G., & Solis, V. M. (1976). An approach to the problem of meaning: Semantic networks. Journal of Psycholinguistic Research, 5(2), 107−115. https://doi.org/10.1007/BF01067252

González, E. F., Trejo, N. P., & Roux, R. (2017). Assessing EFL university students’ writing: A study of score reliability. Revista electrónica de investigación educativa, 19(2), 91-103. https://doi.org/10.24320/redie.2017.19.2.928

Gonzalez, C. J., López, E. O., & Morales, G. E. (2013). Evaluating moral schemata learning. International Journal of Advances in Psychology, 2(2), 130-136. https://archive.org/details/IJAP047  

Iqbal, M. Z., Ivan, R. I., Robb, C., & Derby, J. (2025). Evaluating factors that impact scoring an open response situational judgment test: a mixed methods approach. Frontiers in Medicine, 11, 1525156. https://doi.org/10.3389/fmed.2024.1525156

Johan, A. (2024). An analysis of critical thinking skills through argumentative essay writing. English Journal Literacy Utama. https://doi.org/10.33197/ejlutama.vol8.iss1.2023.5.455

Kane, M. T. (2013). Educational test scores: Interpretation and use through an argument-based framework (Version 1). Manara - Qatar Research Repository. https://doi.org/10.57945/manara.30579716

Lopez, E. O. (1996). Schematically related word recognition (Publication No. 9613356) [Doctoral dissertation, University of Wisconsin-Madison]. ProQuest Dissertations & Theses Global.

Lopez, E. O, & Theios, J. (1992). Semantic analyzer of schemata organization (SASO). Behavior Research Methods, Instruments, & Computers, 24(2), 277−285. https://doi.org/10.3758/BF03203508

Marzano, R. J., & Kendall, J. S. (2007). The new taxonomy of educational objectives. Corwin Press.

Messick, S. (1984). The psychology of educational measurement. Journal of Educational Measurement, 21(3), 215–237. https://doi.org/10.1111/j.1745-3984.1984.tb01030.x

Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic Medicine: Journal of the Association of American Medical Colleges, 65(9 Suppl), S63–S67. https://doi.org/10.1097/00001888-199009000-00045

Momsen, J. L., Long, T. M., Wyse, S. A., & Ebert-May, D. (2010). Just the facts? Introductory undergraduate biology courses focus on low-level cognitive skills. CBE—Life Sciences Education, 9(4), 435–440. https://doi.org/10.1187/cbe.10-01-0001

Morales-Martinez, G. E., Trejo-Quintana, J., Charles-Cavazos, D. J., Mezquita-Hoyos, Y. N., & Sanchez-Monroy, M. (2021). Chronometric constructive cognitive learning evaluation model: Measuring the construction of the human cognition schema of psychology students. International Journal of Learning, Teaching and Educational Research, 20(2), 1-21. https://doi.org/10.26803/ijlter.20.2.1

Morales-Martinez, G. E., Garcia-Collantes, A., & Lopez-Perez, R. M. (2024). Cognitive technology to evaluate the academic learning of computational cognition in psychology students. International Journal of Educational Methodology, 10(2), 213-225. https://doi.org/10.12973/ijem.10.1.1013

Morales-Martinez, G. E., Garcia-Collantes, A., & Lopez-Perez, R. M. (2023). Constructive cognitive assessment of learning in a course on the computational cognition in psychology students. European Journal of Educational Research, 12(2), 837-850. https://doi.org/10.12973/eu-jer.12.2.837

Morales-Martinez, G. E. & Sanchez-Hernandez, M. (2025, 18th June). Using intertwined cognitive algebra and mental representation techniques to innovate the design of digital learning materials [Oral presentation]. 9th International Conference in Information Integration Theory and Functional Measurement, Université de Picardie Julies Verne, Amiens, Francia

Morales-Martinez, G. E., Mezquita-Hoyos, Y. N., Hedlefs-Aguilar, M. I., & Sanchez-Monroy M. (2021). Cognitive assessment of knowledge consolidation in a course on the diagnostic evaluation of learning disorders in psychology students. International Journal of Learning, Teaching and Educational Research, 20(10), 95-116. https://doi.org/10.26803/ijlter.20.10.6

Morales-Martinez, G. E. (2020). Sistema de evaluación cognitiva constructiva cronométrica del aprendizaje en línea y presencial [Manuscrito enviado a Evaluación]. Instituto de Investigaciones sobre la Universidad y la Educación, Universidad Nacional Autónoma de México.

Morales-Martinez, G. E. (2015). Protocolo para la recolección de conceptos objetivo y definidores centrales y diferidos (PRECODECD): un sistema de codificación de conceptos extraídos de las redes semánticas naturales. [Manuscrito no publicado]. Instituto de Investigaciones sobre la Universidad y la Educación, Universidad Nacional Autónoma de México.

Morales Martinez, G. E., & Lopez Ramirez, E. O. (2018a). EVCOG Modulo 1. Configurador RSN (Version 1.1.) [Software]. Registro Público del Derecho de Autor. 03-2018-111311554300-01

Morales Martinez, G. E., & Lopez Ramirez, E. O. (2018b). EVCOG Modulo 2. Capturador RSN (Version 1.1.) [Software]. Registro Público del Derecho de Autor. 03-2018-1113115235001

Morales Martinez, G. E., & Lopez Ramirez, E. O. (2018c). EVCOG Modulo 3. Editor RSN (Version 1.1.) [Software]. Registro Público del Derecho de Autor. 03-2018-1113115235001

Morales Martinez, G. E., & Lopez Ramirez, E. O. (2018d). EVCOG Modulo 4. Análisis RSN (Version 1.1.) [Software]. Registro Público del Derecho de Autor. 03-2018-1113115235001

Morales-Martinez, G. E., Ángeles-Castellanos, A. M., Ibarra-Ramírez, V. H., & Mancera-Rangel, M. I.  (2020). Cognitive e-tools for diagnosing the state of medical knowledge in students enrolled for a second time in an anatomy course.  International Journal of Learning, Teaching and Educational Research, 19(9), 341−362. https://doi.org/10.26803/ijlter.19.9.18

Morales-Martínez, G. E., Lopez-Perez, R. M., Garcia-Collantes, A., & López-Ramírez, E. O. (2020). Evaluación constructiva cronométrica para evaluar el aprendizaje en línea y presencial. Tecnología, Ciencia y Educación, 15(1), 105−124. https://www.tecnologia-cienciaeducacion.com/index.php/TCE/article/view/371

Morales-Martinez, G.E., Lopez-Ramirez, E.O., Castro-Campos, C., Villarreal-Treviño, M.G., & Gonzales-Trujillo, C.J. (2017). Cognitive analysis of meaning and acquired mental representations as an alternative measurement method technique to innovate e-assessment. European Journal of Educational Research, 6(4), 455-465. https://doi.org/10.12973/eu-jer.6.4.455  

Morales-Martinez, G. E., Garcia-Torres, M., Castro-Gonzalez, M. C., & Mezquita-Hoyos, Y. N. (2021). The measurement of knowledge construction in a course of diagnostic evaluation of learning disorders in psychology students. International Journal of Learning, Teaching and Educational Research, 20(8), 240-261. https://doi.org/10.26803/ijlter.20.8.15

Morales Martínez, G. E., Villarreal Lozano, R., Izaguirre Lerma, J.,  & Santos Alcantara, M. G. (2022). Diagnóstico cognitivo del conocimiento matemático en estudiantes de ingeniería. Invocación Educativa, 22(88), 57-77. https://www.ipn.mx/innovacion//numeros-anteriores/innovacion-educativa-88.html

Obi, U. S., Chukwuma, A., Agu, I., Eigbiremolen, G., & Mbachu, C. (2024). Development and validation of situational judgement test for assessment of behavioural competencies required for effective medical practice in Nigeria. BMC Medical Education, 24(1), 1295. https://doi.org/10.1186/s12909-024-06298-x

Trixa, J., & Kaspar, K. (2024). Information literacy in the digital age: information sources, evaluation strategies, and perceived teaching competences of pre-service teachers. Frontiers in psychology, 15, 1336436. https://doi.org/10.3389/fpsyg.2024.1336436

Urdiales-Ibarra, M. E., Lopez-Ramirez, E. O., Castro-Campos, C., Villarreal-Treviño, M. G., & Carrillo-Colon, J. E. (2018). Biology schemata knowledge organization and meaning formation due to learning: A constructive-chronometric approach to concept mapping usability. Creative Education, 9(16), 2992−2706. https://doi.org/10.4236/ce.2018.916203

Schinske, J., & Tanner, K. (2014). Teaching more by grading less (or Differently). CBE Life Sciences Education, 13(2), 159–166. https://doi.org/10.1187/cbe.cbe-14-03-0054

UNESCO (2015). Evaluación del aprendizaje del estudiante y el currículo: problemas y consecuencias para la política, el diseño y la aplicación (Reflexiones en progreso No. 1). https://hdl.handle.net/20.500.12799/4607