Design and content validity of a socioformative rubric to evaluate investigative skills in postgraduate
DOI:
https://doi.org/10.17162/au.v11i2.632Keywords:
Socioformative rubric, investigative competencies, validity, reliability, expert judgmentAbstract
In the present investigation, an instrument for evaluating postgraduate research competencies was designed and validated in content. For its design, aspects evidenced in the development of the thesis work were integrated. The instrument was reviewed by four experts for the facie validity analysis and an expert judgment was made for the content validity analysis. At the end of these phases, an instrument was piloted with 38 advisers to assess the degree of understanding of instructions and items, as well as the reliability of the instrument. The instrument was designed as a socio-formative analytical rubric integrating five aspects of the development of the thesis work through 11 items and for each of them five levels of performance with their own descriptor. The experts expressed writing suggestions to optimize the rubric. The expert judges validated the items in content (Aiken's V> 0.80; LV CI 95%>0.75). The piloting showed a good degree of understanding of the instructions and items and relevance of the questions and it was determined that the instrument has reliability (Cronbach's Alpha: 0.832). A valid content instrument is presented; however, it is necessary to continue with the analysis of its psychometric properties (construct validity and reliability)Downloads
References
Aliaga-Pacora, A., & Luna-Menecio, J. (2020). La construcción de competencias investigativas del docente de posgrado para lograr el desarrollo social sostenible. Revista Espacios, 41(20), 0–12. https://bit.ly/3e7qpaI
Balbo, J. (2000). Formación en competencas investigativas, un nuevo reto de las universidades. Universidad Nacional Experimental, 8, 1–16. https://bit.ly/2TzbGvZ
Boluarte-Carbajal, A., & Kotaro-Tamari. (2017). Validez de contenido y confiabilidad inter-observadores de Escala Integral Calidad de Vida. Revista de Psicologia (Peru), 35(2), 641–666. https://doi.org/10.18800/psico.201702.009
Campos-Céspedes, J., Madriz Bermúdez, L., Brenes Matarrita, O. L., Rivera Sánchez, Y., & Viales Sossa, M. (2012). Competencias investigativas en el personal académico de la Escuela de Ciencias de la Educación de la UNED, Costa Rica. UNED Research Journal, 4(2), 273–282. https://doi.org/10.22458/urj.v4i2.16
Cardona-Arias, J. A. (2019). Impacto de las prácticas profesionales sobre las competencias de investigación formativa en estudiantes de Microbiología de la Universidad de Antioquia-Colombia. Revista Virtual Universidad Católica Del Norte, 56, 2–15. https://bit.ly/34G5hFF
Cardoso, E. O., & Cerecedo, M. T. (2019). Assessment of the research competences of students in graduate courses in administration . Formacion Universitaria, 12(1), 35–44. https://doi.org/10.4067/S0718-50062019000100035
Carvajal, A., Centeno, C., Watson, R., Martínez, M., & Sanz Rubiales, Á. (2011). ¿Cómo validar un instrumento de medida de la salud? In Anales del Sistema Sanitario de Navarr, 34(1), 63–72. https://doi.org/10.4321/s1137-66272011000100007
Ceballos-Almeraya, J. M., & Tobón, S. (2019). Validez de una rúbrica para medir competencias investigativas en pedagogía desde la socioformación Validity of a rubric to measure research competences in pedagogy from the socioformation. Atenas, 3(August), 1–17. https://bit.ly/2Jjrxgi
Costello, A. B., & Osborne, J. W. (2005). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment, Research and Evaluation, 10(7), 1-9. https://bit.ly/3jGV6Vp
Díaz-Barriga, Á. (2011). Competências em educação: Correntes de pensamento e implicações para o currículo e o trabalho no sala-de-aula. Revista Iberoamericana de Educación Superior, 2(5), 3–24. https://bit.ly/34H4ZOJ
Dominguez-Lara, S., & Rodriguez, A. (2017). Índices estadísticos de modelos bifactor. Interacciones: Revista de Avances En Psicología, 3(2), 59–65. https://doi.org/10.24016/2017.v3n2.51
Escobar-Pérez, J., & Cuervo-Martínez, Á. (2008). Validez De Contenido Y Juicio De Expertos: Una Aproximación a Su Utilización. Avances En Medición, 6 (January 2008), 27–36. https://bit.ly/35Jis88
Estrada, L. (2019). Evaluación del desarrollo de competencias investigativas: Un estudio en la formación inicial de docentes. Paradigma: Revista de Investigación Educativa, 26(41), 69–92. https://doi.org/10.5377/paradigma.v26i41.7976
Fraile, J., Pardo, R., & Panadero, E. (2017). ¿Cómo emplear las rúbricas para implementar una verdadera evaluación formativa? Revista Complutense de Educacion, 28(4), 1321–1334. https://doi.org/10.5209/RCED.51915
George-Reyes, C., & Ramírez-Martinell, A. (2019). Competencias investigativas y saberes digitales de estudiantes de Posgrado en la modalidad virtual. Certiuni Journal, 0(5), 65–78. https://bit.ly/34FO5Qv
Gheller, S. (2002). Estrategia de intervención para resolver el síndrome Todo menos tesis; en el componente docente de la Escuela de educación de la Universidad Central de Venezuela. Anales de La Universidad Metropolitana, 2(2), 13–32. https://dialnet.unirioja.es/servlet/articulo?codigo=4004137
Grijalva-Verdugo, A. A., & Zazueta, M. L. U. (2017). Cultura científica desde la universidad. Evaluación de la competencia investigativa en estudiantes de Verano Científico. Education in the Knowledge Society (EKS), 18(3), 15. https://doi.org/10.14201/eks20171831535
Guajardo, C., Cadena, G., María, D., Romero, R., & Virginia, E. (2011). Las competencias en investigación como puentes cognitivos para un aprendizaje significativo, 16(77), 55. https://www.redalyc.org/pdf/1995/199520010084.pdf
Gutiérrez-Castillo, J.-J., Cabero-Almenara, J., & Estrada-Vidal, L. I. (2017). Design and validation of an instrument for evaluation of digital competence of University student . Espacios, 38(10), 16. https://bit.ly/34Gj3bq
Haynes, S. N., Richard, D., & Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7(3), 238. https://bit.ly/32cBOl9
Hernández-Mosqueda, J. S., Tobón-Tobón, S., & Guerrero-Rosas, G. (2016). Hacia una evaluación integral del desempeño: las rúbricas socioformativas. Ra Ximhai, 12(6), 359–376. https://www.redalyc.org/pdf/461/46148194025.pdf
Hernández-Sampieri, R., Méndez, S., & Mendoza, C. P. (2018). Centro de recursos en línea de la obra Metodología de la investigación: Las rutas cuantitativa, cualitativa y mixta. Ciudad de México. https://bit.ly/35Kl8Cd
Juárez-Hernández, L. G., & Tobón, S. (2018). Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación. Revista Espacios, 39(53), 1–23. http://www.revistaespacios.com/cited2017/cited2017-23.pdf
Koller, I., Levenson, M. R., & Glück, J. (2017). What do you think you are measuring? A mixed-methods procedure for assessing the content validity of test items and theory-based scaling. Frontiers in Psychology, 8, 126. https://www.frontiersin.org/articles/10.3389/fpsyg.2017.00126/full
Luque, E. H., Estrada, V., & Keeling, M. (2018). Perspectivas y desafíos de la gestión del conocimiento y la competencia investigativa en la educación del posgrado. 6(1). http://uceciencia.edu.do/index.php/OJS/article/view/123
Marin-Garcia, J. A., Ramirez Bayarri, L., & Atares Huerta, L. (2015). Protocol: Comparing advantages and disadvantages of Rating Scales, Behavior Observation Scales and Paired Comparison Scales for behavior assessment of competencies in workers. A systematic literature review. WPOM-Working Papers on Operations Management, 6(2), 49. https://doi.org/10.4995/wpom.v6i2.4032
Martínez-Rodríguez, D., & Márquez-Delgado, D. (2014). Las habilidades investigativas como eje transversal de la formación para la investigación. Tendencias Pedagógicas, 24(24), 347–360. https://repositorio.uam.es/handle/10486/663144
Martínez-Valdés, M. G., & Juárez-Hernández, L. G. (2019). Diseño y validación de un instrumento para evaluar la formación en sostenibilidad en estudiantes de educación superior. IE Revista de Investigación Educativa de La REDIECH, 10(19), 37. https://doi.org/10.33010/ie_rie_rediech.v10i19.501
Mendoza Mendoza, J. G., & Garza, J. B. (2009). La medición en el proceso de investigación científica: Evaluación de validez de contenido y confiabilidad (Measurement in the scientific research process: Content validity and reliability evaluation). Innovaciones de Negocios, 6(11), 17–32. http://eprints.uanl.mx/12508/
Messick, S. (1980). Test validity and the ethics of assessment. American Psychologist, 35(11), 1012. https://psycnet.apa.org/record/1981-27017-001
Mgquba, S. K., & Underwood, P. G. (2016). Enhancing information research and learning skills through e-learning: the case of Monash University Library. South African Journal of Libraries and Information Science, 81(2), 39–45. https://doi.org/10.7553/81-2-1561
Montoya-López, L., & Juárez-Hernández, L. G. (2019). Validación de contenido de un instrumento para la calidad educativa mediante la metodología instruccional ADOIVA. Atenas, 3(47), 52-69. Recuperado de: https://atenas.reduniv.edu.cu/index.php/atenas/article/view/489
Moros-Briceño, J. A. (2018). Evaluación de las competencias investigativas en los estudiantes de maestría de la Universidad Nacional Experimental del Táchira mediante el uso de modelos de regresión multinivel. ECOMATEMATICO, 9(1), 51–64. https://doi.org/10.22463/17948231.1670
Parrado-Lozano, Y. M., Sáenz Montoya, X., Soto Lesmes, V. I., Guáqueta Parada, S. R., Amaya Rey, P., Caro Castillo, C. V., Parra Vargas, M., & Triana Restrepo, M. C. (2015). Validez de dos instrumentos para medir la relación interpersonal de la enfermera con el paciente y su familia en la unidad de cuidado intensivo. Investigación En Enfermería: Imagen y Desarrollo, 18(1), 115. https://doi.org/10.11144/javeriana.ie18-1.vimr
Penfield, R. D., & Giacobbi, Jr, P. R. (2004). Applying a score confi dence interval to Aiken’s item content-relevance index. Measurement in Physical Education and Exercise Science, 8, 213-225
Reiban, R., De la Rosa, H., & Zeballos, J. (2017). Competencias investigativas en la Educación Superior. Competencias Investigativas En La Educación Superior Revista Publicando, 4(10), 395–405. https://n9.cl/dabrw
Rizo-García, M. (2012). Enseñar a investigar investigando. Experiencias de investigación en comunicación con estudiantes de la Licenciatura en Comunicación y Cultura de. 20–39. https://bit.ly/3jCKDdP
Salas-Razo, G., & Juarez-Hernandez, L. G. (2017). Hacia un modelo de desarrollo rural integral sustentable basado en la sociedad del conocimiento. Espacios, 39(53), 9. http://www.redalyc.org/articulo.oa?id=181351615008
Salazar Gómez, E., Tobón, S., & Juárez Hernández, L. G. (2018). Diseño y validación de una rúbrica de evaluación de las competencias digitales desde la socioformación. Apuntes Universitarios, 8(3), 24–42. https://doi.org/10.17162/au.v8i3.329
Tapia, C., Cardona, S. A., & Vázquez, H. (2018). Research competences in postgraduate: Experience of an online course | Las competencias investigativas en posgrado: Experiencia de un curso en línea. Espacios, 39(53), 20. http://www.revistaespacios.com/cited2017/cited2017-20.pdf
Tobón, S. (2017b). Evaluación socioformativa. Estrategias e instrumentos. Mount Dora (USA): Kresearch. ISBN 978-1-945721-26 -7. https://cutt.ly/vu3RP8
Tobon, S., Juarez-Hernandez, L. G., Herrera-Meza, S. R., & Nunez, C. (2020). Assessing school principal leadership practices. Validity and reliability of a rubric. Educacion XX1, 23(2), 187–210. https://doi.org/10.5944/educxx1.23894
Tobón, S. (2008). La formación basada en competencias en la educación superior: el enfoque complejo. México: Universidad Autónoma de Guadalajara. https://bit.ly/3jFxCA0
Tobón, S. (2013). Ejes esenciales de la sociedad del conocimiento y la socioformación. Mount Dora, USA: Kresearch. Disponible en: https://cife.edu.mx/recursos/2018/09/06/ejes-esenciales-de-la-sociedad-del-conocimiento-y-la-socioformacion/
Urrutia, M., Barrios, S., Gutiérrez, M., & Mayorga, M. (2014). Métodos óptimos para determinar validez de contenido. Revista Cubana de Educacion Medica Superior, 28(3), 547–558. https://bit.ly/31SQZ2I
Valdés-Cuervo, A., Carlos Martínez, E., Vera Noriega, J., & Montoya Verduro, G. (2012). Propiedades psicométricas de un instrumento para medir las relaciones familiares en adolescentes intelectualmente sobresalientes. Pensamiento Psicológico, 1, 39–50. https://doi.org/10.11144/177
Vázquez-Antonio, J., Tobón, S., Vázquez-Antonio, J. M., Guzmán, C. E., & Herrera-Meza, S. R. (2018). Diseño y validez de contenido de una rúbrica socioformativa para evaluar la tesis de investigación en la Educación Normal. Revista Espacios, 39(53). http://www.revistaespacios.com/cited2017/cited2017-28.html
Verhoeven, J. C., Heerwegh, D., & De Wit, K. (2016). ICT learning experience and research orientation as predictors of ICT skills and the ICT use of university students. Education and Information Technologies, 21(1). https://doi.org/10.1007/s10639-014-9310-3
Published
How to Cite
Issue
Section
License
Copyright (c) 2021 Alicia Agromelis Aliaga Pacora, Luis Gibran Juárez Hernández, Raúl Herrera Meza
This work is licensed under a Creative Commons Attribution 4.0 International License.
- The authors retain their copyright but assign to the journal the right of the first publication, with the work registered under the Creative Commons attribution license, which allows third parties to use the published information as long as they mention the authorship of the work and that it was first published in this journal.
- Authors may make other independent or additional contractual arrangements for non-exclusive distribution of the version of the article published in this journal (eg, include it in an institutional repository or publish it in a book) as long as it clearly indicates that the work was first published in this journal.
- Authors are encouraged and advised to publish their work on the Internet (for example, on institutional or personal pages) before and during the review and publication process, as it can lead to productive exchanges and a greater and faster dissemination of the published work (see The Effect of Open Access).
