En la entrada Gamificación en la evaluación de personas de esta serie sobre gamificación, hablábamos del principal objetivo en el diseño de cualquier sistema de evaluación psicológica: obtener medidas válidas. Si bien la validez de la medida es muy importante, cuando se trata de aplicar gamificación, no es el único criterio a considerar.
Dentro de un proceso de evaluación de personas, sea en selección, promoción, etc., existen otros factores a los que prestar atención. Por un lado, queremos que el diseño de gamificación no tenga consecuencias adversas en el proceso. Sin embargo, también podemos querer abordar esos factores como parte del diseño de gamificación.
Mejorar la calidad de los datos psicométricos con gamificación
Conseguir datos de calidad es también un objetivo muy relevante en evaluación psicológica. si la persona evaluada no pone esfuerzo suficiente no podremos extraer la información necesaria de sus respuestas. En otras palabras: necesitamos que esa persona muestre implicación (engagement)1 con la tarea. Además, la calidad de los datos repercutirá directamente en la validez.
La falta de implicación puede manifestarse de maneras muy diferentes. En función del tipo de tarea, encontramos problemas diferentes:
- Falta de implicación en cuestionarios de autoinforme: En estos instrumentos, utilizados en evaluación de personalidad, evaluación de valores, actitudes, etc., la persona puede responder de forma inconsistente (random responding), elegir siempre una misma categoría de respuesta (straightlining), o mostrar acuerdo con todo lo que se pregunta (aquiescencia).
- Falta de implicación en tareas de rendimiento óptimo: En estas tareas, que miden inteligencia, habilidades, aptitud, etc., podemos hallar patrones de respuestas aleatorias y respuestas omitidas.
Todas estas conductas son propias de un patrón de respuesta satisfaciente.2 Además, la falta de implicación puede llevar a la persona evaluada a desistir de terminar la prueba.
Mejorar la usabilidad y reacción de las personas evaluadas
Aparte de la validez y la calidad de los datos, hay otros aspectos que no pueden obviarse, tanto los que se pueden mejorar como los posibles efectos adversos a evitar. Uno muy importante, intrínsecamente ligado a la implicación, es la experiencia de usuario: Reducir el estrés y/o aburrimiento que produce la tarea, mejorar la usabilidad, o aumentar el interés por realizarla contribuirán a la mejora de la implicación, y consecuentemente a la calidad de los datos.
La reacción de las personas evaluadas es también especialmente relevante, sobre todo cuando se trata de candidatos y candidatas en procesos de selección. Además de factores como el agrado y esfuerzo percibidos, hay que considerar la imparcialidad percibida y las expectativas de contratación.3
En países como Estados Unidos, con una legislación muy estricta sobre imparcialidad, un empleador puede enfrentarse a procesos judiciales costosos si quienes pasan por el proceso de selección se consideran objeto de discriminación. A este respecto, las diferencias de género en preferencias y beneficios de la gamificación4 y la influencia de otras variables demográficas5 pueden aportar información valiosa a tener en cuenta al gamificar una tarea de evaluación.
Por otra parte, una prueba que genere altas expectativas (por ejemplo, si alguien obtiene una alta puntuación en un juego) puede inducir frustración si esa persona no es seleccionada. Hay que considerar y valorar todos estos aspectos.
Evidencia científica sobre la gamificación de instrumentos de evaluación
Siendo realistas, hay que decir que la evidencia acerca de los efectos de la gamificación en evaluación de personas es muy escasa a día de hoy. Existen pocas experiencias conocidas en evaluación de personalidad, actitudes o aspectos afectivos y motivacionales de las competencias,6.7 Las que hay hasta la fecha no informan de resultados empíricos.
Los pocos estudios científicos que encontramos enfocan sus esfuerzos en la evaluación cognitiva. Hay evidencia sólida de que juegos tipo brain training permiten obtener medidas válidas y altamente fiables de inteligencia general.8 Rompecabezas basados en física (Portal 2) también pueden arrojar medidas que correlacionan con inteligencia fluida.9
Sin embargo, las medidas obtenidas de los juegos suelen ser de dominio mixto;10 es decir, las puntuaciones reflejan el nivel en una combinación de aptitudes. Por otra parte, a pesar de que el incremento en la motivación intrínseca es una constante casi universal en tareas gamificadas, no se ha hallado aún evidencia de que ello mejore la calidad de los datos.
La poca investigación sobre gamificación en evaluación psicológica no permite extraer muchas conclusiones. En la tercera y última entrada «Evidencia científica sobre la gamificación de instrumentos de evaluación» de esta serie revisaremos otras áreas de conocimiento donde se ha aplicado la gamificación, para intentar encontrar algunos resultados que sean extrapolables al ámbito que nos ocupa.
- O’Brien, H., Toms, E.G.: What is user engagement? A conceptual framework for defining user engagement with technology. Journal of the American Society for Information Science & Technology. 59, 938–955 (2008). doi:10.14288/1.0107445↩
- Guin, T.D.-L., Baker, R., Mechling, J., Ruyle, E.: Myths and realities of respondent engagement in online surveys. International Journal of Market Research. 54, 613–633 (2012). doi:10.2501/IJMR-54-5-613-633↩
- Armstrong, M.B., Ferrell, J.Z., Collmus, A.B., Landers, R.N.: Correcting misconceptions about gamification of assessment: More than SJTs and badges. Industrial and Organizational Psychology. 9, 671–677 (2016). doi:10.1017/iop.2016.69↩
- Koivisto, J., Hamari, J.: Demographic differences in perceived benefits from gamification. Computers in Human Behavior. 35, 179–188 (2014). doi:10.1016/j.chb.2014.03.007↩
- Wood, R.T., Griffiths, M.D., Chappell, D., Davies, M.N.: The structural characteristics of video games: A psycho-structural analysis. CyberPsychology & Behavior. 7, 1–10 (2004). doi:10.1089/109493104322820057↩
- Chamorro-Premuzic, T., Winsborough, D., Sherman, R.A., Hogan, R.: New talent signals: Shiny new objects or a brave new world? Industrial and Organizational Psychology; Bowling Green. 9, 621–640 (2016). doi:10.1017/iop.2016.6↩
- Armstrong, M.B., Landers, R.N., Collmus, A.B.: Gamifying recruitment, selection, training, and performance management: Game-thinking in human resource management. En: Davis, D. and Gangadharbatla, H. (eds.) Emerging research and trends in gamification. pp. 140–165. IGI Global, Hershey, PA (2016)↩
- Quiroga, M.A., Escorial, S., Román, F.J., Morillo, D., Jarabo, A., Privado, J., Hernández, M., Gallego, B., Colom, R.: Can we reliably measure the general factor of intelligence (g) through commercial video games? Yes, we can! Intelligence. 53, 1–7 (2015). doi:10.1016/j.intell.2015.08.004↩
- Buford, C.C., O’Leary, B.J.: Assessment of fluid intelligence utilizing a computer simulated game. Int. J. Gaming Comput. Mediat. Simul. 7, 1–17 (2015). doi:10.4018/IJGCMS.2015100101↩
-
Lumsden, J., Edwards, E.A., Lawrence, N.S., Coyle, D., Munafò, M.R.: Gamification of cognitive assessment and cognitive training: A systematic review of applications and efficacy. JMIR Serious Games. 4, e11 (2016). doi:10.2196/games.5888↩
