Diseño y validación de una rúbrica de evaluación de las competencias digitales desde la socioformación

Elizabeth Salazar-Gómez1a, Sergio Tobón2b y Luis G. Juárez-Hernández3b Universidad Pedagógica Nacional 212, Méxicoa

Centro Universitario CIFE, Cuernavaca, Méxicob

ORCID ID: https://orcid.org/0000-0002-4328-58811 ORCID ID: https://orcid.org/0000-0001-5543-91312 ORCID ID: https://orcid.org/0000-0003-0658-68183

Recibido: 13 de marzo de 2018 Aceptado: 12 de mayo de 2018

Resumen

Debido a la ausencia de investigaciones e instrumentos que exploren y evalúen las competencias digitales tanto en los contextos educativos como comunitarios, se diseñó una rúbrica de evaluación sobre competencias digitales desde el enfoque socioformativo, con base en lo siguiente: 1) revisión documental de la bibliografía de documentos existentes para diagnosticar o evaluar las competencias digitales; 2) construcción del instrumento mediante una estructura tipo rúbrica con la taxonomía socioformativa; 3) revisión y mejora del instrumento por parte de un grupo de 3 expertos; 4) validación de contenido mediante el juicio de expertos en el área; 5) aplicación del instrumento a un grupo piloto compuesto por 44 personas 6) mejora final del instrumento a partir de las sugerencias de los jueces y su evaluación. A partir de la valoración de los jueces expertos, se realizó un análisis de los datos descriptivos y de acuerdo con el coeficiente de la V de Aiken, en los ítem 4, 5, 6, y 7 se obtuvo un puntaje de (V>0.80), no siendo así para los ítem 1, 2, 3, que reflejaron un puntaje menor (V<0.80) a partir de ello y las sugerencias emitidas por los jueces, el instrumento fue modificado en la pertinencia y redacción; en cuanto al nivel de confiabilidad de acuerdo al valor de Alfa de Cronbach se ubico en .845; lo que permite inferir que el instrumento es confiable; En la evaluación cualitativa se obtuvo una mayor frecuencia de los niveles aceptables y alto en pertinencia y redacción, sugiriendo mejoras en las preguntas y no hubo ninguna sugerencia de eliminar ítems.

1Correspondencia al autor E-mail: sagoeli@gmail.com

Palabras clave: diseño; competencias; instrumento; validación; digitales; estudiantes universitarios

Design and Validation of a Rubric for the Evaluation of Digital Competencies based on Socioformation

Abstract

Due to the lack of research and tools that explore and evaluate digital competencies, both in educational and community contexts, a rubric of evaluation in digital competencies from a socio- formative approach was designed consisting of: 1) Literature review of existing documents to diagnose or evaluate digital competencies; 2) construction of the instrument through a rubric type structure with the socio-formative taxonomy; 3) review and improvement of the instrument by a panel of 3 experts; 4) the content was validated by a panel of 14 expert judges; 5) the application of the instrument to a pilot group, composed of 45 persons; 6) final improvement of the instrument based on the suggestions and evaluations of the expert judges. Results: from the results of the evaluation by expert judges, an analysis of the descriptive data was carried out, and, according to the Aiken’s V coefficient, items 4,5,6 and 7 obtained a score of (V>0.80), but it was different for items 1,2 and 3, which reflected a lower score (V<0.80). From this and the suggestions issued by the expert judges, the instrument was modified in relevance and drafting; as for the reliability level according to the value of Cronbach´s Alfa it situated at .845; suggesting that the instrument is reliable. As for qualitative evaluation, a frequency within acceptable levels was obtained with high relevance and redaction, suggesting improvements in the questions, but there was no suggestions about the elimination of items.

Keywords: design; competencies; instrument; validation; digital students; university students

Introducción

Ante los desafíos de la sociedad del conocimiento, nos encontramos frente a nuevos cambios y a una profunda transformación estructural motivada por la aparición de la revolución tecnológica, la economía global y otros procesos de tipo cultural, que nos conduce a replantear el sistema educativo en todos sus niveles para dar respuesta a los retos actuales (Esteve, 2015); en este escenario, la competencia digital ocupa una posición fundamental dentro de las nuevas estructuras sociales arriba mencionadas; ésta adquiere un rol protagonista en el campo del aprendizaje, desarrollando capacidades técnicas y digitales de manera significativa en el trabajo, el estudio y la vida cotidiana (Selwyn, 2013; Gisbert, González & Esteve, 2016; Ilomäki et. al., 2016). El concepto de competencia digital engloba una serie de elementos que están vinculados a

la alfabetización informacional y al dominio técnico de herramientas tecnológico-digitales; algunos autores agregan aspectos cognitivos y comunicativos, así como éticos y legales (Flores & Roig, 2016; Ilomäki et Al. 2016; Selwyn, 2013, citado por Gisbert, González & Esteve, 2016: Vázquez, Parra, et. al. 2017). En resumen, dicho concepto se refiere a la adquisición y movilización de habilidades mediante la utilización de la tecnología en la resolución de problemas en los diversos contextos en los que el sujeto se desarrolla, formándolo y preparándolo para el cambio continuo sin perder la esencia de los valores humanos; desde la perspectiva del enfoque socioformativo, lo anterior implica un proceso en la que se emplean estrategias como la gestión y co-creación del conocimiento, realizando acciones de emprendimiento y trabajo colaborativo por medio de la tecnología de la información y la comunicación (TIC) (Tobón et. al. 2015; Krumm, 2015).

Por lo tanto, uno de los grandes retos de la educación, es formar profesionales creativos y eficientes en el desempeño de sus funciones, un ciudadano que actúe de manera responsable y comprometida ante las necesidades productivas e innovadoras de esta sociedad cada vez mas globalizada; un sujeto que desarrolle habilidades para el adecuado manejo de las tecnologías y resuelva problemas de la humanidad y contribuya al reconocimiento del otro, adoptando una actitud ética y de compromiso; se trata de que se desenvuelva por los espacios cibernéticos a partir de normas que permitan la comunicación y el intercambio de manera efectiva y productiva (Maldonado, 2018; Flores & Roig, 2016)).

Al transferir estas ideas al ámbito educativo, por un lado nos encontramos ante generaciones nacidas en la nueva era digital con un mayor acceso al mundo tecnológico, y por otro, una generación de docentes que a pesar de adaptarse al uso de las tecnologías no han desarrollado las competencias digitales; el simple hecho de utilizar dispositivos tecnológicos en las actividades áulicas, no garantiza que el aprendizaje realmente se logre; su aplicación con un objetivo académico y formativo requieren de dominio cognitivo, así como habilidades de búsqueda y navegación, integración, evaluación de fuentes y uso estratégico de la información (Burín et al., 2016; Silva 2016; Gisbert & Esteve, 2016; Selwin et. al. 2016; Prendes & Gutiérrez, 2013).

Se pueden encontrar varios estudios orientados a la integración de las competencias digitales a los procesos de formación docente, con la propuesta de que en las prácticas pedagógicas estén incluidas las éticas y actitudinales, guardando relaciones de inmersión y transversalidad entre ellas con el propósito de crear un modelo que permita a los docentes la construcción de contextos innovadores y la consolidación del aprendizaje, así como el diseño de instrumentos fiables que

analicen y describan la inclusión de las herramientas tecnológicas en los programas educativos. (Agreda Montoro, Hinojo Lucena, Reche, & María 2016; Hernández et al. 2016; Hatlevik, 2016). Ante estas ideas, en el presente estudio se propone la construcción de una rúbrica socioformativa que contemple los principios centrales de la sociedad del conocimiento y la socioformación, desde este enfoque, las rúbricas socioformativas se definen como “instrumento de evaluación que permiten determinar el nivel de logro o desempeño en la resolución de problemas de contexto, relacionando una serie de indicadores con descriptores y niveles de dominio”. (Tobón, 2013; citado en Hernández-Mosqueda, et. al. 2016) y de acuerdo a lo anterior, los autores en mención sostienen que este instrumento está ampliamente sustentado en los fundamentos del

pensamiento complejo, la sociedad del conocimiento y la gestión de la calidad.

A partir de estas consideraciones, el presente estudio se enfocó en las siguientes metas: 1) diseñar una rúbrica de evaluación de competencias digitales, considerando los retos de la sociedad del conocimiento y el enfoque socioformativo; 2) determinar la validez de contenido a través del método de juicio de expertos, midiendo el grado de relevancia y coherencia teórica; 3) establecer un análisis inicial de adecuación, nivel de aceptabilidad del instrumento y confiabilidad mediante la aplicación a un grupo piloto.

Metodología

Se realizó un estudio instrumental de validez y confiabilidad de una rúbrica para evaluar las competencias digitales de los estudiantes universitarios, especificando que consiste en el desarrollo y adaptación de pruebas y aparatos, que incluyen tanto el diseño como la adecuación de estos (Montero, & León, 2002); en esta investigación se construyó y validó el instrumento de evaluación, misma que fue sometida a valoración mediante el juicio de expertos y aplicación a un grupo piloto con el propósito de medir y adecuar la estructura de acuerdo con el perfil de los participantes.

Para la recopilación de la información se utilizó el cuestionario de factores sociodemográficos y la encuesta de pertinencia y satisfacción (CIFE, 2016) y la rúbrica de Evaluación de Competencias Digitales, a continuación, se explica cada instrumento:

1. Rúbrica Evaluación de las competencias digitales desde la socioformación

Para el diseño del instrumento, se inició con la revisión documental en los que se consideró el documento del INTEF (2017) y el cuestionario de evaluación de las competencias digitales en

universitarios de Gutiérrez, Cabero & Estrada (2014); y como principal fundamento los principios de la sociedad del conocimiento y el enfoque socioformativo, considerando los siguientes aspectos:

1.1 Identificación de dimensiones: las dimensiones son las facetas que permiten describir adecuadamente una variable compleja y para acercarse mas al plano concreto del constructo a evaluar, se requiere de indicadores a través de los cuales se puede medir la propiedad latente en cuestión (Medina, 2015); al respecto, se hizo una profunda revisión bibliográfica exhaustiva en la que se encontraron instrumentos validados y fiables de estudios con una temática similar a la del presente estudio, así se eligieron los indicadores, habilidades y dimensiones planteadas en el nuevo documento del marco común de competencia digital docente del Instituto Nacional de Tecnologías Educativas y de formación del profesorado (INTEF, 2017), con la diferencia que en la construcción de los criterios e indicadores, se consideró un enfoque socioformativo que conceptualiza a las competencias, como una combinación de saberes para la solución de problemas (Tobón, 2015); conformándose una estructura de siete ítems; a) Información y alfabetización informacional; b) Comunicación y colaboración; c) Creación de contenido digital; d) Seguridad; e) Resolución de problemas; f) Cuidado del medio ambiente; g) Utilización de recursos de las TIC en la mejora de la calidad de vida; se crearon cinco niveles de actuación con sus correspondientes descriptores (preformal, bajo, medio, medio alto, alto), los niveles de actuación corresponden a lo que se espera ante determinadas situaciones o problemas de contexto, que involucre el desarrollo del talento (Tobón, 2017).

1.2 Redacción de los ítems. Una vez identificadas las dimensiones y áreas de competencia propuestas desde la socioformación, se procedió a la redacción de los ítems tomando en cuenta la taxonomía socioformativa (Tobón, 2014) y los principios eje que propone la sociedad del conocimiento, poniendo especial atención en adecuar algunas palabras para la población objetivo.

1.3 Construcción del instrumento; se elaboró una rúbrica de evaluación socioformativa sobre las competencias digitales, que se define como una tabla de doble entrada en las que se relacionan los criterios de las competencias con los niveles de dominio (preformal, resolutivo, autónomo y estratégico) además integra las evidencias a realizarse durante el proceso, (Hernández, et. al 2015). Tobón (2014) refiere que las rúbricas permiten determinar el nivel de logro o desempeño a través del análisis y retroalimentación de indicadores y descriptores que conduzcan a la solución del problema de un contexto.

2.- Cuestionario de Factores Sociodemográficos

Tiene como meta recoger datos sociodemográficos, en aspectos tales como edad, sexo, nivel educativo, ingresos económicos, experiencia laboral, nivel académico y experiencia en investigación para contextualizar el entorno de los participantes.

3.- Cuestionario de satisfacción con el instrumento.

Tiene como propósito recoger información sobre la percepción del grupo piloto respecto a los aspectos de satisfacción, grado de comprensión de ítems e indicaciones, y su finalidad es atender los puntos de vista de los participantes, para adecuar y adaptar la rúbrica de competencias digitales desde el enfoque socioformativo de acuerdo con las características de la población objetivo.

Participantes:

El primer grupo de participantes fueron los tres expertos, su elección se fundamentó en que contaran con el dominio en el tema de las competencias digitales y la socioformación, así como experiencia en la construcción de instrumentos de evaluación (tabla1).

Tabla 1

Datos competencia expertos (etapa de facie)

Categoría	Número
Roles:
Directivos		3
Docentes		3
Último nivel de estudio:
Maestría		3
Doctorado		3
Áreas de experiencia profesional:		3
Docencia
Tecnología y aprendizaje		3

Docencia, formación, tecnología y

aprendizaje 3

diseño de instrumentos 2

Número de años de experiencia profesional:

Número de artículos publicados en el área:

Número de ponencias presentadas en el área:

Número de libros publicados en el área:

Experiencia en la revisión, diseño y/o validación de un determinado instrumento de investigación

Fuente: adaptado de CIFE

20 años

97-100

Categoría
Sexo	58 % hombres
	42 % mujeres
Roles:
Directivos	2
Docentes	12
Último nivel de estudio:
Maestría	3
Doctorado	11
Áreas de experiencia profesional:	8
Docencia	9
Tecnología y aprendizaje
Docencia, formación, tecnología y aprendizaje	3
diseño de instrumentos	1
Número de años de experiencia profesional:	10- 37 años
Número de artículos publicados en el área:	1-20 artículos
Número de ponencias presentadas en el área:	2-20
Número de libros publicados en el área:	1

Aplicación grupo piloto

Para la aplicación al grupo piloto de la rúbrica, se contó con la participación de 44 personas estudiantes y profesionistas universitarios, con una edad promedio de 32 años y una representación mayor del género femenino (Tabla 3).

Tabla 3

Datos sociodemográficos del grupo piloto

Categoría Porcentaje

Género

Hombre	36%
Mujer	64%
Condiciones económicas Aceptables	63%
Bajas	19%
Buenas	18%
Estado civil
Casado o unión libre	53%
Divorciado o separado	10%
Soltero	37%
Zona de residencia Zona rural	22%
Zona semi-urbana	16%
Zona urbana	62%
Nivel de estudios

Egresados nivel superior Estudiantes nivel

20%

superior

Institución formadora

Ambos

15%

Pública

56%

Privada

29%

Adaptado de cuestionario sociodemográfico CIFE.

80%

Procedimiento

La validez y la fiabilidad son dos criterios que todo instrumento debe reunir, y una vez sometido a valoración y juicio de expertos este puede ser utilizado para el fin con el que fue creado (Robles & Rojas, 2015); dicho proceso se llevó a cabo mediante las siguientes fases:

1) Revisión por expertos. En esta fase participaron tres expertos en la mejora del instrumento, realizando sugerencias de modificación en las dimensiones y descriptores de la rúbrica con una orientación socioformativa, quedando integrada por los siguientes indicadores; a) información y alfabetización informacional; b) comunicación y colaboración en la resolución de problemas de contexto; c) creación de contenido digital aplicado a la resolución de problemas; d) seguridad informática y salud; e) cuidado del medio ambiente; f) manejo de recursos tecnológicos y digitales

en la mejora de la calidad de vida; cada uno de estos indicadores están integrados por una pregunta, a excepción del indicador cuidado del medio ambiente que contempla dos aspectos como el calentamiento global y la contaminación ambiental. Posterior a su revisión, se efectuaron mejoras al instrumento a partir de las sugerencias propuestas.

2) Juicio de expertos. Para el análisis de validez de contenido se utilizó el método de juicio de expertos que consiste en la solicitud a un grupo de personas para realizar un juicio sobre un instrumento, objeto o material de enseñanza, o su opinión respecto a un aspecto concreto (Cabero & Llorente, 2013). Se procedió a la digitalización en los formularios de google; una vez digitalizado el instrumento y adecuada la rúbrica al formulario electrónico propuesto por CIFE, se convocó a través del e-mail a 35 expertos de los cuales 14 aceptaron participar en la evaluación de la “Rúbrica de evaluación de competencias digitales desde el enfoque socioformativo”, en la tabla 2 se describen los perfiles de jueces; Los jueces efectuaron una valoración tanto cuantitativa como cualitativa de los ítems y de los niveles de desempeño en el criterio de pertinencia y redacción, para ello se empleó una escala de tipo Likert de CIFE (tabla 4); concluida la evaluación y procesado los resultados, se realizó un análisis de los comentarios y sugerencias y a partir de estas se realizaron mejoras al instrumento, para lograr la calidad y excelencia en su estructura; se analizó la media y el coeficiente de validez de contenido V de Aiken (Aiken,1980), siguiendo la modificación propuesta por Penfield & Giacobbi (2004), denotando como criterio mínimo de aceptación un valor del coeficiente mayor a 0.80. En los ítems en los que se obtuvo una V menor a 0.80, fueron sometidos a una revisión exhaustiva y mejorados de acuerdo con las sugerencias y comentarios de los jueces expertos.

Tabla 4

Instrumento evaluación jueces expertos.

PERTI NENCI A

El ítem permite evaluar un aspecto central del propósito, constructo teórico y/o dimensiones del instrumento.

REDACCI ÓN

El ítem es comprensible por los potenciales usuarios y cumple con las normas gramaticales de la lengua.

1. No es pertinente El ítem no contribuye a evaluar el propósito y dimensiones del instrumento en ningún aspecto. Puede ser eliminado completamente.

2. Bajo nivel de pertinencia El ítem hace una contribución superficial a la

evaluación del propósito y dimensiones del instrumento.

3. Aceptable grado de pertinencia El ítem contribuye a evaluar el propósito,

dimensiones y/o constructo teórico del instrumento.

4. Alto nivel de pertinencia El ítem contribuye a evaluar en un alto grado el

propósito, dimensiones y/o constructo del instrumento. Esta acorde con los desarrollos teóricos y metodológicos recientes en el área.

1. No es comprensible. El ítem no es comprensible por los potenciales

usuarios del instrumento.

2. Bajo nivel de comprensón. El ítem debe ser mejorado en al menos la mitad

de sus componentes, en aspectos de redacción y gramática.

3. Aceptable nivel de comprensión El ítem requiere mejoras superficiales para que

quede excelente en su comprensión.

4. Alto nivel de comprensión El ítem es altamente comprensible por los

potenciales usuarios y sigue las normas gramaticales de la lengua.

Fuente: CENTRO UNIVERSITARIO CIFE.

3) Aplicación de la prueba con un grupo piloto. Para el pilotaje de la rúbrica, se invitó a un grupo de estudiantes y egresados de educación superior a responder mediante el formato de formulario Electrónico (CIFE), mismo que fue difundido por vía e-mail y redes sociales obteniendo la respuesta de 44 estudiantes. Esta fase fue con la finalidad de determinar la confiabilidad mediante el análisis de alfa de Cronbach, así como determinar el grado de satisfacción de las instrucciones y e ítems analizando los resultados y mejorando la aplicación.

Resultados

La revisión de los jueces se realizó de manera cualitativa y cuantitativa enfatizando correcciones en el área de redacción, para lograr la pertinencia de los ítems propusieron

modificaciones y adecuación estructural a las preguntas en cuanto a los términos y verbos que podrían no ser claros a la población, hubo énfasis en la reducción de los niveles de desempeño que consideraron extensos, como es el caso de los niveles medio alto (Autónomo) y alto (estratégico), para los ítems 1, 2, y 3, hicieron propuestas y mejoras del indicador.

La evaluación cuantitativa de pertinencia y redacción en términos generales fue satisfactoria presentando valores promedio superiores a tres (Tabla 5). Respecto al análisis con el coeficiente de validez de contenido V de Aiken, se indica que para el criterio de pertinencia mostró valores superiores al mínimo establecido, denotando la validez de contenido (Tabla 5), sin embargo, para el criterio de redacción, se presentaron valores menores a los estipulados en los ítems 1) Información y alfabetización informacional; 2) Comunicación y colaboración; 3) Creación de contenido digital. Estos ítems fueron revisados y su mejora se basó en los comentarios y sugerencias de los jueces, así también se agregaron más. (ver apéndice).

Tabla 5. Resultados del análisis de la evaluación cuantitativa de los jueces Media V de Aiken

Ítem	Pertinencia	Redacción	Pertinencia	Redacción
1	3.43	3.21	0.810	0.737
2	3.5	3.07	0.833	0.690
3	3.57	3.36	0.857	0.787
4	3.57	3.5	0.857	0.833
5	3.57	3.43	0.857	0.810
6	3.57	3.64	0.857	0.880
7	3.57	3.43	0.857	0.810

Grupo piloto. El análisis de consistencia interna reveló una alta confiabilidad del instrumento (Alfa de Cronbach: 0.845). Respecto a los resultados de la encuesta de satisfacción se indica que los encuestados refieren en su mayoría niveles aceptables (Fig. 1), es importante señalar que también se realizaron comentarios en cuanto a la extensión de los descriptores de cada nivel, y de la utilización de términos que para algunos de ellos fue difícil comprender, por lo cual en versión final del instrumento se adecuaron estas preguntas considerando lo anteriormente descrito.

Figura 1. Resultados de la encuesta de satisfacción con el instrumento.

Discusión

Mediante el esquema metodológico efectuado en el estudio, se puede indicar que se presenta una rúbrica socioformativa con validez de contenido y confiabilidad para evaluar las competencias digitales, misma que ha sido diseñada dentro del marco de los principios socioformativos, en donde los protagonistas de la formación (estudiantes, profesores, padres de familia, entre otros) reconozcan sus potencialidades para consolidar su proyecto ético de vida, y asuman la retroalimentación que el instrumento les brinda, con criterios basados en el enfoque mencionado (Hernández, et. al. 2015).

La rúbrica tiene sus orígenes en las escalas de medida y se utilizan en los campos de la psicología y la educación relacionando un objeto cualitativo y cuantitativo; es un instrumento idóneo en la evaluación de competencias ya que permite diseccionar un atributo complejo en una tarea mas simple, distribuida en forma gradual; aparte de que el estudiante puede autoevaluar sus habilidades y destrezas (Masmitjá et al. 2013); este instrumento se considera viable en la investigación, porque abre un abanico de opciones en donde el sujeto identifica y responde basándose en sus percepciones; transfiriendo esta idea a los procesos educativos, se puede afirmar que son de gran relevancia en la detección de posibles carencias de formación, y visualizar hasta qué punto los maestros van a incorporar la tecnología a sus prácticas didácticas, procesos de

desarrollo profesional y a la solución de los problemas de contexto (Ottenbreit-Leftwich, Glazewzki, Newby & Ertmer, 2010. citado por Esteve et. al. 2016).

En este sentido, la rúbrica socioformativa es parte de la evaluación que se define como un conjunto de estrategias que buscan la formación de personas emprendedoras, con un sólido proyecto ético de vida, a través del trabajo colaborativo, co-creación del conocimiento y metacognición con base en problemas personales, sociales, comunitarios y científicos; la socioformación forma parte de los enfoques que buscan formar para la sociedad del conocimiento, misma que esta integrada por un conjunto de comunidades que buscan a través del trabajo colaborativo resolver problemas y lograr el desarrollo humano sustentable (Hernández-Mosqueda et. Al. 2016).

Como se indicó, el propósito particular de esta investigación fue diseñar, validar y aplicar una rúbrica de evaluación de competencias digitales desde la socioformación, que en inicio su aplicación estaba orientada a los estudiantes de educación superior, sin embargo durante el proceso de construcción y reflexionando sobre los enfoques y principios ya mencionados, se concluyó que no solo estos están involucrados en los procesos de formación, también existen otros actores como el docente, el director, los padres de familia, los directivos y funcionarios de otras instituciones, ante ello se contempló abrirla hacia otros participantes, con el propósito principal de diagnosticar los niveles de dominio de las habilidades y destrezas en el uso de las Tics, por lo anterior el instrumento aquí presentado podrá ser utilizado en diferentes contextos aparte del educativo. Esta herramienta de evaluación permitiría recopilar la información, valorar e identificar las habilidades y destrezas digitales desde el enfoque socioformativo, y desarrollar propuestas de mejora y desarrollo del talento humano para la calidad de vida.

Respecto a las fases metodológicas establecidas se destaca en primer orden la revisión de los tres expertos, ya que fue decisiva en la construcción de la rúbrica para definir y configurar el constructo bajo los fundamentos de la sociedad del conocimiento y el enfoque socioformativo. En este sentido, algunos autores conceptualizan esta fase como “validez de facie” que consiste en un juicio valorativo, que evalúa el léxico empleado, claridad de las instrucciones, la organización del instrumento, efectuando observaciones en cuanto a la relevancia y comprensión de las preguntas (Lagunes, 2017). La elección de los indicadores y dimensiones estuvieron ampliamente sustentadas en los principios ya mencionados, considerando de vital importancia la utilización de las herramientas tecnológicas en el fortalecimiento del trabajo colaborativo, promover la ciudadanía

mundial en el marco de las identidades locales, generando sostenibilidad ambiental (Tobón, 2017). Prosiguiendo con la metodología, la validez de contenido es una fase primordial en la investigación, para Urrutia et al., (2014) esta fase se define como “El juicio lógico sobre la correspondencia que existe entre el rasgo o la característica del aprendizaje del evaluado y lo que se incluye en la prueba o examen” (p. 548); esta autora sostiene que el principal objetivo, es determinar si los ítems o preguntas propuestas, reflejan el dominio de lo que se pretende medir, destacando que se efectúa mediante método de juicio de expertos que consiste en la valoración de su pertinencia y redacción; una vez obtenidos los resultados, se realiza un análisis estadístico y cualitativo que determina si son adecuados o no, además permite identificar las debilidades y fortalezas del instrumento, tomando decisiones en su modificación, integración o eliminación de algún componente (Galicia et. al. 2017).

Lagunes (2017), refiere que el método de juicio de expertos involucra la revisión del instrumento por parte de especialistas que tengan pleno conocimiento del área y temática que se pretende evaluar, señalando la importancia de criterios en la elección de los jueces, al respecto los que participaron en la presente investigación, cuentan con un amplio perfil profesional, en su mayoría con doctorado y maestría, así como experiencia docente. La valoración permitió recoger la opinión para la mejora de la rúbrica, y efectuar un análisis estadístico, mediante el coeficiente de relevancia (i. e V de Aiken), el empleo de esta técnica estadística demostró la validez de contenido.

Otra de las fases metodológicas importante de mencionar es el piloteo de la rúbrica; Hernández-Sampieri (2006) señala la importancia de efectuar la aplicación del instrumento a un grupo piloto, el cual se define como un conjunto de personas con características similares a la población objetivo de la investigación, en dicho proceso se analiza si las instrucciones se comprenden y si los ítems funcionan de manera adecuada; en este sentido la encuesta de satisfacción es fundamental, ya que brinda elementos claves en su verificación y adecuación; respecto a la confiabilidad, sino existen las evidencias de fiabilidad entonces no tendrá validez en la recolección de la información; para ello se debe analizar los resultados y determinar la eficacia y efectividad del constructo (Martínez & March, 2015); por lo tanto, el valor obtenido de esta prueba en la rúbrica aquí presentada es altamente confiable.

En conclusión, se señala esta experiencia de investigación como un paso trascendental, en el fomento de la idea de que las competencias digitales son primordiales en los cambios y

transformaciones de los diversos ámbitos de la sociedad, a partir de ello, la evaluación y autoevaluación que se haga de ellas podrían permitir un autodiagnóstico que señale las que se poseen y cuáles son necesarias en la construcción de la sostenibilidad, todo esto desde un enfoque socioformativo, cuya propuesta de acción se fundamenta en el pensamiento complejo y en la resolución de los problemas de contexto, proponiendo un desarrollo integral del sujeto tomando en cuenta su entorno y la utilización de los medios tecnológicos en la transformación y crecimiento personal y social.

Referencias

Agreda, Montoro, M., Hinojo Lucena, M. A., Reche, S., & María, J. (2016). Diseño y validación de un instrumento para evaluar la competencia digital de los docentes en la Educación Superior española. Pixel-Bit: Revista de Medios y Educación. http://dx.doi.org/10.12795/pixelbit.2016.i49.03

Burin, D., Coccimiglio, Y., González, F., & Bulla, J. (2016). Desarrollos recientes sobre habilidades digitales y comprensión lectora en entornos digitales. Revista Psicología, Conocimiento y Sociedad. https://goo.gl/UnzGEP

Cabero, J., & Llorente-Cejudo, M. C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información (TIC). Eduweb, 7 (2). http://mriuc.bc.uc.edu.ve/handle/123456789/1175

Cabrera, Cipirán, B. (2015) Propuesta de un programa de formación de tutores para el desarrollo de habilidades tutoriales en alumnos de educación. Revista Ciencia y Tecnología vol. 11. nº 1 https://goo.gl/k7xsRn

Esteve, F. M. (2015) La competencia digital docente: análisis de la autopercepción y evaluación del desempeño de los estudiantes universitarios de educación por medio de un entorno 3D (Doctoral dissertation, Universitat Rovira i Virgili). 10.1177/0735633116637191

Esteve-Flores-Lueg, C., & Roig Vila, R. (2016). Diseño y validación de una escala de autoevaluación de competencias digitales para estudiantes de pedagogía. Pixel-Bit. Revista de Medios y Educación. doi: http://dx.doi.org/10.12795/pixelbit.2016.i48.14

Galicia, Alarcón, L.A. Balderrama Trápaga, Jorge Arturo, & Edel Navarro, Rubén. (2017). Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apertura (Guadalajara, Jal.), 9(2) https://dx.doi.org/10.18381/ap.v9n2.993

Gisbert, M., & Esteve, F. (2016). Digital Leaners: La competencia digital de los estudiantes universitarios. La cuestión universitaria. (7) https://goo.gl/4pA826

Gutiérrez, Castillo, J. J., Cabero Almenara, J., & Estrada-Vidal, L. I. (2017). Diseño y validación

de un instrumento de evaluación de la competencia digital del estudiante universitario. Revista Espacios, 38(10) https://goo.gl/9b2Jmg

Gutiérrez, Castillo, J. J., & Gómez del Castillo Segurado, M. T. (2014). Influencia de las TIC en los procesos de aprendizaje y comunicación de los estudiantes de la educación. Revista de Pedagogía, 35 (97-98) https://goo.gl/sAoX7f

Hernández-Mosqueda, J. S., Tobón-Tobón, S., & Guerrero-Rosas, G. (2016). Hacia una evaluación integral del desempeño: las rúbricas socioformativas. Ra Ximhai, 12(6). https://goo.gl/aMCV63

Hernández, Suárez, C., Ayala García, E., Gamboa Suárez, A. (2016). Modelo de competencias TIC para docentes: Una propuesta para la construcción de contextos educativos innovadores y la consolidación de aprendizajes en educación superior. Revista Katharsis, N. 22, Disponible en https://revistas.iue.edu.co/index.php/katharsisñ

Hatlevik, O. E. (2016). Examining the Relationship between Teachers’ Self-Efficacy, their Digital Competence, Strategies to Evaluate Information, and use of ICT at School. Scandinavian Journal of Educational Research. https://doi.org/10.1080/00313831.2016.1172501

Hernández, R. Fernández, C. y Baptista.P.(2006) Metodología de la investigación. 4º edición.

México: McGraw-Hill

Hernández, S., Tobón, S. González, L., Guzmán, K. (2015) En un programa de posgrado en línea.

Paradigma, Vol. XXXVI. Nº. 1.

Ilomäki, L., Paavola, S., Lakkala, M., & Kantosalo, A. (2016). Digital competence–an emergent boundary concept for policy and educational research. Education and Information Technologies https://doi.org/10.1007/s10639-014-9346-4

Krumm, Sonia.(2015) Motivar, transmitir,transformar : Una revision de las competencias necesarias para el oficio de enseñar. Revista de investigacion Apuntes Universitarios. Vol. 7 nº 1 DOI: https://doi.org/10.17162/au.v0i1.255.g251

Kühn, C. (2017). Are Students Ready to (re)-Design their Personal Learning Environment? The Case of the E-Dynamic. Space. Journal of New Approaches in Educational Research, 6(1). https://goo.gl/VMPy5j

Lagunes, Córdoba, R. (2017). Recomendaciones sobre los procedimientos de construcción y validación de instrumentos y escalas de medición en psicología de la salud. Revista del Instituto de investigaciones psicológicas de la Universidad Veracruzana. vol.21 nº 1 https://goo.gl/U7vKHf

Masmitjà, J. A., Irurita, A. A., Trenchs, M. A., Miró, M. B., Marín, A. C., Busquets, M. C., ... & Ruiz, L. M. (2013). Rúbricas para la evaluación de competencias. Cuadernos de docencia universitaria, 26. https://goo.gl/kGzkAF

Martínez, M. &March, Trina. (2015). Caracterización de la validez y confiabilidad en el constructo

metodológico de la investigación social. REDECS. Ed.20.año 10 https://goo.gl/nh6Cw2

Maldonado, M.E (2018) El aula, espacio propicio para el fortalecimiento de competencias ciudadanas y tecnológicas. Sophia, 14(1); 39-50.

DOI: http://dx.doi.org/10.18634/sophiaj.14v.1i.822

Medina, Martínez, Norma, F. (2015). Las variables complejas en investigaiones pedagógicas. Revista de investigación Apuntes universitarios. Vol.2 nº 2 DOI: http://dx.doi.org/10.17162/au.v0i2.96

Montero, I. & León, O. G. (2002). Clasificación y descripción de las metodologías de investigación en psicología. Revista internacional de psicología clínica/International Journal of Clinical and Healt Psichology https://goo.gl/TfLmWf

Prendes, Espinosa, M., & Gutiérrez Porlán, I. (2013). Competencias tecnológicas del profesorado en las universidades españolas. Revista de educación, 361 DOI: 10.4438/1988-592X-RE- 2011-361-140

Robles Garrote, P. y Rojas, M. D. C. (2015) La validación por juicio de expertos: dos investigaciones cualitativas en Lingüística aplicada. Revista Nebrija de Lingüística Aplicada. https://goo.gl/D8gMGU

Selwyn, N., Nemorin, S., & Johnson, N. (2016). High-tech, hard work: an investigation of teachers’ work in the digital age. Learning, Media and Technology. http://dx.doi.org/10.1080/17439884.2016.1252770

Silva, Q J. E. S., Miranda, P., Cervera, Gisbert, M. Morales, J., & Onetto, A. (2016). Indicadores para evaluar la competencia digital docente en la formación inicial en el contexto Chileno– Uruguayo. RELATEC: Revista Latinoamericana de Tecnología Educativa, 15(3). https://doi.org/10.17398/1695-288X.15.3.55

Tobón, S. (2017). Conceptual analysis of the socioformation according to the knowledge society. Knowledge Society and Quality of Life (KSQL), 1(1), 9-35. https://goo.gl/aJeSvw

Tobón, S. (2017) Ejes esenciales de la sociedad del conocimiento y la socioformación. Mount Dora (USA); Kresearch DOI: dx.doi.org. /10.24944/isbn.978-1-945721-18-2 Educación

Urrutia, Egaña, M., Barrios Araya, S., Gutiérrez Núñez, M., & Mayorga Camus, M. (2014). Métodos óptimos para determinar validez de contenido. Educación Médica Superior, 28(3), 547-558. https://goo.gl/sUdXnb

Vázquez, Parra, J.C. Encinas Soto, A. García Béjar, E. (2017) Herramientas para desarrollar el reconocimiento ético en estudiantes universitarios: Una experiencia de aprendizaje con Pokemón Go. Revista de investigación Apuntes Universitarios Vol. 7 Nº DOI: https://doi.org/10.17162/au.v7i1.204.g200