Tesis doctorales y trabajos fin de máster.

Garantizar la validez y la justicia de las interpretaciones en las que se basan las decisiones tomadas a partir de las mediciones aportadas por tests, escalas y cuestionarios requiere aportar evidencias de validez. Los Standards for Educational and Psychological Testing (Estándares para Pruebas Educativas y Psicológicas), publicados por la American Educational Research Association [AERA], la American Psychological Association [APA], y el National Council of Measurement in Education [NCME] (2014), contemplan la existencia de cinco fuentes de evidencias de validez, siendo la basada en los procesos de respuesta una de ellas y la que menos atención ha recibido hasta hace poco, tanto en la investigación como en el ámbito profesional (e.g., Padilla y Benítez, 2014; Sireci y Benítez, 2023). Obteniendo evidencias de validez sobre los procesos de respuesta, se puede analizar si los procesos cognitivos “previstos” en la definición semántica y la tabla de especificaciones (e.g., interpretación de los conceptos o expresiones clave, recuperación de la información en la memoria, elaboración de la respuesta, etc.), son los finalmente puestos en práctica por las personas que contestan al instrumento de evaluación. Este tipo de evidencias de validez son especialmente útiles cuando las interpretaciones de las puntuaciones se utilizan para comparar subgrupos de personas. Si los procesos de respuesta de varios grupos de personas difieren, se podría dar lugar a un problema de equivalencia a nivel de constructo (He y van de Vijver, 2012), comprometiendo la comparabilidad de las interpretaciones de las puntuaciones entre esos grupos, lo que supone un problema de validez (Zumbo y Padilla, 2019). Las evidencias de validez basadas en los procesos de respuesta contribuyen a asegurar la justicia de las mediciones, puesto que permiten comprobar si los ítems reflejan el mismo constructo o fenómeno para todas las personas que los contestan, requisito para que una medida sea justa y no beneficie o perjudique a uno de los grupos de personas debido a características irrelevantes al constructo (AERA et al., 2014), que cuestionen la validez de las interpretaciones comparativas en que se basan las decisiones. Especialmente vital es asegurar la justicia de las mediciones que se hacen en el contexto educativo a chicos y chicas, ya que numerosas decisiones importantes para la vida del estudiantado derivan de dichas mediciones. Por ejemplo, la detección de casos de bullying o acoso escolar, así como la intervención posterior, podría derivarse de mediciones aportadas por tests, cuestionarios o screenings compuestos por ítems a los que chicas y chicos respondieran siguiendo “rutas” cognitivas diferentes, enfrentándonos así con los problemas de validez y justicia anteriormente expuestos. De hecho, la literatura previa ha demostrado que existen diferencias sustanciales en cuanto a las experiencias de victimización que viven ambos géneros (e.g., Björkqvist et al., 1992; Carrera-Fernández et al., 2013; Hanci y Akça, 2020; Lee et al., 2022; Rivers y Smith, 1994; Rosen y Nofziger, 2021; Shu et al., 2023; Wang et al., 2010; Zhao et al., 2022): los chicos suelen recibir más bullying en general que las chicas y más agresiones directas (Agresiones físicas, como pegar o empujar, y agresiones verbales, como insultar o amenazas); las chicas, por su parte, suelen recibir más agresiones indirectas (agresiones relacionales como criticar, difundir rumores o excluir). Estas diferencias en las experiencias vitales con la victimización de bullying entre chicas y chicos podrían suscitar diferentes representaciones cognitivas del bullying, que a su vez podrían dar lugar a diferencias en los procesos de respuesta a los ítems de victimización de bullying. En ese caso, no se estaría midiendo el mismo fenómeno en ambos grupos sociodemográficos, amenazando, como se apuntaba anteriormente, la equivalencia, la validez de las interpretaciones comparativas de las puntuaciones, y la justicia en la medición. No obstante, a menudo han surgido dificultades y limitaciones a la hora de examinar estos procesos de respuesta y de aportar evidencias basadas en esta fuente de evidencias de validez (Benítez et al., 2019; Sireci y Benítez, 2023), ya que tanto en los Standards for Educational and Psychological Testing (AERA et al., 2014), como en la literatura disponible faltan indicaciones claras sobre cómo llevar a cabo estudios de validación centrados en los procesos de respuesta. Además, debido a la complejidad que entraña obtener información sobre dichos procesos, estas dificultades surgen especialmente cuando se trata de abordar esta cuestión sólo a través de métodos cuantitativos. Para solucionar este problema, se ha propuesto el uso de métodos mixtos que combinen los métodos cuantitativos con métodos cualitativos que permitan profundizar y abordar de manera más comprehensiva los fenómenos de estudios, superando las limitaciones que acarrean los métodos cuantitativos y cualitativos cuando se aplican solos (Cresswell y Plano Clark, 2011). Por tanto, el objetivo general de la tesis doctoral ha sido desarrollar y mostrar la aplicación de estrategias “mixtas” de validación basadas en los procesos de respuesta, que integren métodos cuantitativos y cualitativos para evaluar la validez de las interpretaciones comparativas de las respuestas de chicas y chicos a ítems sobre victimización de bullying, con el fin de asegurar la comparabilidad de la interpretación de las puntuaciones y la justicia de la medición entre chicos y chicas. A pesar de haber centrado el trabajo en un contexto y una escala en concreto, el propósito es que la estrategia mixta de validación que se desarrolla se pueda generalizar y trasladar a diferentes contextos de evaluación en los que se desee realizar interpretaciones comparativas de las puntuaciones de diferentes grupos sociodemográficos, lingüísticos y/o culturales.