Indicadores de evaluación de citas y referencias en tesis de maestría en
educación: una muestra peruana
Evaluation Indicators for Citations and References in Master’s Thesis in
Education: A Peruvian Sample
Ronald M. Hernández
1
, Dennis Arias Chávez
2
, Willian Sebastian Flores Sotelo
3
,
Jose Antonio Arévalo Tuesta
4
, Pedro Juan Antón De Los Santos
5
, León Augusto Yépez
Muñiz
6
y Jessica Lagos Videla
7
Universidad San Ignacio de Loyola, Lima, Perú
1
Universidad Continental, Arequipa, Perú
2
Universidad Nacional Federico Villarreal, Lima, Perú
34567
Orcid ID: https://orcid.org/0000-0003-1263-2454
1
Orcid ID: https://orcid.org/0000-0003-1500-8366
2
Orcid ID: https://orcid.org/0000-0003-3505-0676
3
Orcid ID: https://orcid.org/0000-0003-0341-7234
4
Orcid ID: https://orcid.org/0000-0003-0137-703X
5
Orcid ID: https://orcid.org/0000-0003-3235-3292
6
Orcid ID: https://orcid.org/0000-0003-1991-4171
7
Recibido: 23 de enero 2019 Aceptado: 03 de julio 2019
Resumen
La presente investigación tuvo por objetivo determinar la calidad de citas y referencias
de las tesis de Maestría en Educación de universidades peruanas. Se utilizó la técnica
del análisis documental y como instrumento se recurrió a la “Guía de observación”
propuesta por Martín y Lafuente (2017), compuesta por cinco indicadores de calidad
para la revisión bibliográfica (exhaustividad, utilización crítica de la bibliografía,
calidad, relevancia y revisión de investigaciones previas); y nueve para las referencias
bibliográficas (actualización, cantidad de referencias, autocitación, idioma, tipología,
soporte, referencias completas, exactitud y cumplimiento con una norma o estilo). El
análisis se realizó a 562 referencias bibliográficas y 1209 citas extraídas de 14 tesis,
digitalizadas y publicadas en el Repositorio Nacional Digital de Perú, durante el año
2017. Se evaluaron tanto los mecanismos de citado, como las referencias bibliográficas.
Después del análisis estadístico descriptivo se pudo identificar que el nivel alcanzado
para ambas variables fue “suficiente”.
1
Correspondencia al autor
E-mail: rhernandezv@usil.edu.pe
Revista de Investigación Apuntes Universitarios
DOI: https://doi.org/10.17162/au.v9i3.382
Volumen 9 - Número 3 (Setiembre-Diciembre) 2019
ISSN: 2225-7136(impresa)-2304-0335(en línea)
67
Palabras clave: Calidad de citas, calidad de referencias bibliográficas, tesis de maestría,
investigación educativa.
Abstract
This research work is aimed at determining the quality of citations and references of the
Master’s thesis in Education of peruvian colleges. The documental analysis technique
was used and the “Observation Guide” proposed by Martín and Lafuente (2017) was
employed as an instrument, which is composed of five quality indicators for the
bibliographic review (exhaustiveness, critical use of the bibliography, quality, relevance
and review of previous research works); and of 9 for bibliographic references (update,
number of references, self-citation, language, typology, support, complete references,
accuracy and fulfillment of a standard or style). In addition, 562 bibliographic
references and 1209 citations extracted from 14 theses, digitalized and published in the
National Digital Repository of Peru during 2017, were analyzed. The mechanisms for
citations as well as the bibliographic references were evaluated. After the descriptive-
statistical analysis, it could be identified that the level achieved for both variables was
“Enough”.
Keywords: Quality of citations, quality of bibliographic references, Master’s thesis,
educational research.
Introducción
La literatura especializada sobre la evaluación de la calidad de las referencias y
citas ha venido centrándose en el análisis de revistas científicas, dado el impacto y
trascendencia que tienen estas en la divulgación del conocimiento científico (Pulido,
Gonzales & Sanz, 1993; Osca-Lluch, Civera & Peñaranda, 2009; Silva, Rodríguez &
Del Campo, 2012; Huamaní & Pacheco, 2009). El interés de estos estudios se enfoca
sobre todo en analizar errores, inconsecuencias, realizar diagnósticos o recuentos de los
procesos de referenciación y citación. Asimismo, los estudios bibliométricos (cuyo
interés de estudio es el análisis de la información sobre los resultados del proceso
investigador, su volumen, evolución, visibilidad y estructura) no son pocos, ya que
resulta interesante realizar valoraciones de la labor científica y el impacto tanto de la
investigación como de las fuentes en dichas actividades (Escorcia, 2008). Resulta
pertinente mencionarlos (los estudios bibliométricos), en vista que estos necesitan medir
no solo el número de distribución de las publicaciones, sino también su productividad y
dispersión, además de la colaboración en las publicaciones, la vida media de la citación
o su envejecimiento, las conexiones entre autores, entre otros; además, las frecuencias y
tendencias de las citas que inciden en el impacto y la visibilidad, así como los canales
ISSN: 2225-7136(impresa)-2304-0335(en línea)
68
de información registrada. (López Piñero & Terrada, 1992; Escorcia, 2008; Peralta,
Frías & Gregorio, 2015).
Por otro lado, las referencias bibliográficas permiten conocer y reconocer las
ideas y los hallazgos de otros investigadores; así pues, su inclusión junto con las citas es
un rasgo importante en el proceso de divulgación de los resultados y en la recuperación
de información (Negro, Aguinaga & González, 1996; Braga, Bernadete & Regina,
2003; Osca-Lluch & Peñaranda, 2009, Becker & Chiware, 2015; Rosenberg, 2015). La
exactitud bibliográfica de las fuentes en el componente teórico (marco teórico,
antecedentes de estudio y discusión de los resultados) de un trabajo de investigación
respalda la información vertida en ella, además de garantizar la seriedad y el rigor
puestos por el investigador en la búsqueda y uso de la información.
La conformación de la bibliografía comienza a tomar forma apenas se define el
tema (incluso antes) y se empieza a buscar documentación pertinente sobre el mismo.
Es función del investigador ir documentando cada una de las fuentes de información
utilizadas para la construcción teórica de su propuesta, siguiendo para ello un estilo
único y normado. Determinar la cantidad óptima de citas, el tipo de documentos a citar
o las formas de citación dentro del texto son algunas de las dudas a las que se ha de
enfrentar todo investigador, y cuyas respuestas solo las hallará a medida que conozca y
profundice en el tema (Martín & Lafuente, 2017). En esta misma línea se encuentran
Carpintero (1981) y Ziman (1972), para quienes las citas y referencias constituyen el
punto de partida de toda construcción intelectual, ya que ellas representan el camino por
el que avanza el conocimiento. Asimismo, su inclusión dentro de los trabajos
académicos permite traducir la naturaleza colectiva y cooperativa del argumento
científico: la construcción entre todos los científicos de un cuerpo común de
conocimiento.
Desde otro ángulo, Kaplan (1965) considera que las citas y referencias forman
parte de la creación del conocimiento y en tal virtud se constituyen en un recurso social
para hacer frente a los problemas de los derechos de propiedad y pretensiones de
prioridad de los científicos. El concepto de propiedad está relacionado con la
publicación abierta; y el derecho del investigador a su propiedad se reduce al
reconocimiento de su labor mediante la referenciación correcta de su trabajo. Por tanto,
las citas y referencias bibliográficas operan dentro de un marco moral, y son utilizadas
para recompensar las deudas intelectuales de la única manera en que esto puede hacerse:
a través del reconocimiento explícito de ellas. Otro aporte importante es el de Mitra
ISSN: 2225-7136(impresa)-2304-0335(en línea)
69
(1970), quien considera que las citas y referencias bibliográficas representan una de las
fuentes de información más importantes para los científicos, convirtiéndolas así en uno
de los medios más idóneos de recuperación de datos (Torres-Salinas & Jiménez-
Contreras, 2010); de manera que, su correcta aplicación en los trabajos académicos
resulta imprescindible.
Con respecto a las tesis de posgrado, estudios como los realizados por Braga,
Bernadette y Regina (2003); Brito, Ladrón de Guevara y Peñaranda (2009); Sánchez y
Ainciburo (2011); Meneses, Romero y Sesma-Muñoz (2013); Meneses, Romero &
Sesma, 2013; Torres y Flores (2015) y Rodríguez y García (2016) han aportado datos
interesantes sobre temas relacionados con errores, impacto, funciones retóricas,
evolución e intertextualidad de las referencias en este tipo de productos académicos. Sin
embargo, ninguna de ellas ha profundizado en la evaluación del proceso mismo de la
referenciación y citación de una manera integral. De igual manera, y no menos
importante, en el Perú están los aportes de Aiquipa, Ramos, Curay y Guizado (2017) y
Chambi (2017), quienes se han centrado en analizar los factores implicados en realizar o
no la tesis y en diseñar mecanismos validados para evaluar el rigor científico de las
mismas.
Desde otra perspectiva, Muñoz (2011) define a la tesis de maestría como el tipo
de trabajo académico en el que el investigador examina, comprueba o desaprueba una
teoría, ya sea de nueva creación o anteriormente analizada; además, con base en tal
teoría se descubre, propone o reafirma un estudio especial dentro de su disciplina. Por
ello, la elaboración de la tesis supone un proceso sistemático de producción de
conocimientos nuevos, por lo que el autor está en la obligación de demostrar, con ayuda
de sus fuentes, que ha organizado, analizado y presentado la literatura en el campo que
abarca su tesis y que sabe cómo hacerlo académicamente. Para este fin es necesaria la
revisión de teorías con solvencia cognitiva y el uso de procedimientos e instrumentos
que demuestren su validez (Novoa, 2003). La tesis de maestría sustenta su calidad en la
rigurosidad con la que ha sido elaborada y por la profundidad de los conocimientos
sobre el tema (Vara, 2010).
Ahora bien, uno de los principales problemas que se encuentra en este tipo de
producto académico, sea cual fuere su nivel, es la inadecuada descripción bibliográfica,
acción fundamental para que el investigador que consulte dicho trabajo identifique y
cite las fuentes utilizadas, ya que, desde la introducción del trabajo, el autor debe
consignar citas que refuercen o avalen sus ideas. Este proceso se amplía en el desarrollo
ISSN: 2225-7136(impresa)-2304-0335(en línea)
70
del marco teórico y en el apartado de la discusión del resultado, en los que se somete a
contraste cada una de las posturas teóricas presentes en el marco teórico y los resultados
obtenidos.
En el contexto peruano son pocos los estudios empíricos realizados sobre esta
problemática. Por esta razón, la presente investigación se justifica teóricamente en la
medida en que busca evaluar el trabajo de citación y referenciación como procesos
formales y necesarios para el avance de la ciencia y el reconocimiento de la autoría de la
misma; por lo tanto, su correcta aplicación en las tesis resulta imprescindible. Desde el
punto de vista metodológico, este estudio realiza un análisis exhaustivo de las fuentes
utilizadas para la construcción teórica de las tesis y también de sus mecanismos
operativos para su registro. Finalmente, desde el punto de vista práctico, el presente
estudio busca sentar las bases para la creación de lineamientos que permitan, en base a
resultados objetivos, mejorar el cuidado de los procesos de citación mediante la
elaboración de guías, manuales y asesorías responsables, todo esto en aras de elevar el
nivel de calidad de los trabajos de los tesistas.
Método
Enfoque de estudio y diseño
La presente investigación se inscribe dentro del corte cuantitativo; su elección
responde a la naturaleza de los objetivos, los cuales buscan evaluar y presentar datos
cuantificados sobre la calidad de citas y referencias de las tesis de Maestría en
Educación de universidades peruanas. En general, la investigación cuantitativa tiene
mucha importancia en la validez externa, debido a que con una muestra representativa
de la población se puede inferir los resultados del estudio en esa muestra a la población
de donde proviene (Polit & Hugler, 2010). De acuerdo a la clasificación de estos autores,
el estudio está contemplado dentro del diseño de tipo transversal o transeccional, ya que la
recolección de datos se hace en un solo momento o en un tiempo único.
Técnicas e instrumentos
Para la presente investigación se utilizó la técnica del análisis documental de
fuentes secundarias, en este caso, tesis de maestría de universidades peruanas, siendo el
instrumento la “Guía de observación” elaborada por Martín y Lafuente (2017) y
adaptada por los autores para evaluar el género textual “Tesis de maestría”. Esta guía
propone cinco indicadores de calidad para la revisión bibliográfica en el cuerpo de la
ISSN: 2225-7136(impresa)-2304-0335(en línea)
71
obra (citas) y nueve para las referencias bibliográficas (bibliografía). Para determinar la
calidad, tanto de las citas como de las referencias, se aplicó la escala de valoración con
su correspondiente puntuación. La ventaja de utilizar una escala de calificación es que
permite realizar una valoración objetiva de los datos obtenidos en la guía de
observación; de esta manera se logra una descripción detallada que facilite el análisis y
la sistematización de los datos que se obtuvieron. La valoración utilizada es 0-2, siendo
siempre 0 el menor y 2 el puntaje mayor. Según el puntaje alcanzado por los
indicadores, estos se ubicarán en las siguientes categorías: Deficiente, Suficiente y
Excelente.
Unidades de análisis
Se analizaron el apartado de las referencias bibliográficas y las citas de 14 tesis
para obtener el grado de Magíster en Educación, digitalizadas y publicadas en el
Repositorio Nacional Digital de Perú, Acceso Libre a Información Científica para la
Innovación (ALICIA), de propiedad del Consejo Nacional de Ciencia, Tecnología e
Innovación Tecnológica (CONCYTEC) en el año 2017. Entre los criterios para
seleccionar las tesis estuvieron: a) tener autorización de descarga; b) elegir una variable
que haya sido abordada por la mayor cantidad de tesis de universidades peruanas,
siendo esta la de “rendimiento académico”; y c) elegir una tesis por universidad con el
fin de buscar mayor representatividad.
Procedimiento de recolección de datos
Una de las virtudes del instrumento utilizado para el presente estudio es que
posibilita proponer indicadores que evalúen de manera integral las referencias
bibliográficas y las citas que se encuentran en el texto. Para el estudio se tomaron en
cuenta solo las tesis de maestría en educación provenientes de universidades peruanas—
sean públicas o privadas—del año 2017, dado que en estas instituciones existen
variaciones en lo relacionado tanto a las normas sobre citado y referenciación como a
sus procesos de evaluación. Asimismo, se eligió el tema de “rendimiento académico”
por ser esta problemática la segunda más estudiada por las maestrías en educación de las
universidades peruanas. No formaron parte de la población de estudio los institutos u
otros centros superiores que no son universidades. Para su registro, primero se filtraron
todas aquellas tesis digitalizadas sobre el tema de rendimiento académico. Se descargó
una tesis por universidad directamente de la página web de ALICIA, creada por el
CONCYTEC. Las tesis fueron incluidas en una base de datos creada por los
ISSN: 2225-7136(impresa)-2304-0335(en línea)
72
investigadores para luego someterlas a evaluación. Se contabilizó la cantidad de
referencias con que contaba cada una de ellas, lo que permitió formar un corpus
representativo. Los nueve criterios propuestos por la “Guía de observaciones” permiten
realizar un registro exhaustivo tanto cuantitativa como cualitativamente. Para el caso de
la conformación del corpus de citas, se revisaron los apartados en los que se incluye
información de otros autores para sustentar la idea del investigador (introducción,
antecedentes, marco teórico y discusión). Se contabilizó la cantidad de menciones a
autores en el cuerpo de la tesis así estas se repitiesen. Con esto se buscó determinar la
coherencia no solo en el uso de un estilo de referenciación sino también en la redacción
y el origen de los mismos. Los cinco indicadores propuestos en la guía para la
evaluación de las citas tienen un carácter cualitativo, ya que para su aplicación se hizo
necesario leer y analizar los apartados antes mencionados de las tesis. Esto resulta
beneficioso, pues permite profundizar en el tema de la inclusión de fuentes, aspecto
descuidado por otros instrumentos.
Análisis de datos
Para el procesamiento estadístico de los datos se utilizó el programa SPSS 25.0,
empleando estadística descriptiva con el fin de tener la más clara y rápida comprensión
de los hechos estudiados. Con los datos se construyeron tablas estadísticas para
presentar y sintetizar los valores en frecuencias y porcentajes. A partir de ellos, se
extrajeron enunciados de índole teórica para obtener generalizaciones empíricas.
Resultados
En la Tabla 1 se detallan los resultados obtenidos de la evaluación de los cinco
indicadores propuestos por Martín y Lafuente (2017) para determinar la calidad de las
citas del texto. Los autores proponen criterios que no solo abordan la parte formal del
proceso de citado (calidad de la redacción y adecuación a una norma o estilo), sino
también aspectos analíticos (exhaustividad, manejo crítico, relevancia y revisión). Estos
indicadores permiten una revisión integral de los mecanismos aplicados en los apartados
teóricos de las tesis analizadas para el registro de las fuentes. El total de citas analizadas
fue de 1,209.
El indicador “Exhaustividad” se evalúa en los antecedentes y el marco teórico de
la tesis. Los resultados se encuentran en el nivel Deficiente (74.1 %). Este resultado es
importante porque evidencia debilidades en dos ejes fundamentales: el primero, la
ISSN: 2225-7136(impresa)-2304-0335(en línea)
73
preferencia de los autores por citar fuentes secundarias antes que primarias. Una de las
características fundamentales de la exhaustividad es la demostración del domino de la
teoría y de los autores referentes al tema abordado en la tesis. Las fuentes secundarias
no garantizan calidad crítica ni profundidad, ya que la mayoría de los textos que
registran este tipo de información solo resumen o precisan datos relevantes sobre un
tema. El segundo, se tiene un elevado porcentaje de casos de citas incluidas en el texto
que no tienen su respectiva correspondencia en las referencias bibliográficas. Este hecho
demuestra una falta de dominio y cuidado en el manejo de las fuentes, lo que a la larga
podría ser indicador de posibles casos de plagio.
Con respecto al indicador “Utilización crítica de las fuentes” (mención de las
citas bibliográficas para fundamentar la información que se presenta en el texto), este se
evaluó en dos ejes: inclusión de citas textuales y citas parafraseadas. Este indicador se
ubica en el nivel de Excelente (71.4%). El resultado señalado evidencia competencias
de los autores en la integración de las voces de otros en la construcción de su identidad
discursiva. Para evaluar este punto se consideró la categorización de las citas en
integrales y no integrales, propuestas por Swales (1990), y también lo propuesto por
Authier-Revuz (2001) en sus “modalidades de representación del discurso ajeno”. Bajo
estos dos parámetros se pudo determinar que las citas analizadas se integran
exitosamente en una sola voz con el fin de concretar la interacción del lector con el
texto, la cual lleva a una organización de los conceptos teóricos propios de la disciplina
(representados en las voces autorizadas) con la voz del autor de la tesis.
La calidad de las citas se determinó por el cumplimiento de un estilo y por la
cantidad de errores en su redacción. Los resultados ubican a este indicador en el nivel
Deficiente (92.9%), resultado que tiene su causa en el manejo del estilo y redacción de
las citas. Este aspecto es relevante sobre todo para la recuperación de la información,
esto es, para la consulta de las fuentes utilizadas por un tercero. Hay un descuido
evidente en garantizar el manejo de un estilo homogéneo para la redacción de las citas.
En los casos analizados se puede observar la utilización de dos estilos en paralelo y
también un deficiente cumplimiento de las normas ortográficas, lo cual haría imposible
cualquier intento de recuperación de la información o la identificación de las fuentes
citadas en la tesis.
La relevancia se define como la propiedad que tiene la fuente de información
para responder o justificar la cientificidad del tema de investigación. Por ello, es
ISSN: 2225-7136(impresa)-2304-0335(en línea)
74
pertinente verificar la diversidad de fuentes; en el caso de las tesis, la necesidad de
incluir no solo fuentes primarias sino también artículos científicos, tesis o libros resulta
vital, ya que son estas fuentes las que presentan información científica actualizada. Para
determinar este rasgo se evaluó los siguientes componentes teóricos de las tesis:
antecedentes de estudio, marco teórico y discusión. El nivel en el que se encuentra este
indicador es Excelente (85.7%), resultado que evidencia un manejo sólido de fuentes
relevantes. No obstante, los resultados del indicador “Calidad de las citas” evidencian
falencias en el manejo metodológico de las fuentes, que si bien podrían ser pertinentes
al estudio, se haría difícil todo intento de recuperar la información para los
investigadores.
La calidad de la revisión de investigaciones previas se determina precisando si
las citas en los antecedentes corresponden a tesis o artículos, y sí estos son analizados o
comentados o si guardan relación con el tema. Evaluar este indicador implica la revisión
no solo descriptiva sino también crítica de los estudios anteriores que justifiquen el
aporte o la continuidad en una línea de investigación de un estudio actual. La diferencia
con el indicador que evalúa la relevancia radica ya no solo en el manejo de fuentes
actuales y científicas sino en el análisis de las mismas y lo que aportan, además de
precisar las diferencias entre uno y otro en cuestiones teóricas y metodológicas. Los
resultados muestran que el nivel alcanzado por este indicador es el de Excelente (64 %);
no obstante, la brecha que lo separa de los niveles Suficiente y Deficiente es de solo
35.7%, porcentaje nada despreciable. Si bien el apartado de los antecedentes incluye
información actualizada que ha sido analizada, aún hay un número considerable de
casos de tesis que incluyen solo resúmenes de los trabajos anteriores (antecedentes).
Tabla 1
Resultados agrupados por indicador de la calidad de las citas analizadas en el cuerpo
teórico de las tesis
Deficiente
Suficiente
Excelente
Fi
Fi
Fi
Exhaustividad
863
173
173
Utilización crítica de
las fuentes
87
259
863
Calidad
1123
0
87
Relevancia
0
173
1036
ISSN: 2225-7136(impresa)-2304-0335(en línea)
75
Revisión de
investigaciones
previas
173
259
777
En la Tabla 2 se detallan los resultados obtenidos de la evaluación de los nueve
indicadores para determinar la calidad de las referencias bibliográficas: actualización,
cantidad de tesis, autocitación, idioma, tipología, soporte, referencias completas,
exactitud y cumplimiento con una norma. Se evaluaron 562 referencias bibliográficas.
A continuación, se da cuenta de los resultados obtenidos.
El indicador “Actualización” considera la vigencia del contenido de las fuentes
consultadas y referenciadas. Su evaluación dependerá del tema abordado, ya que
algunos trabajos priorizan textos clásicos, cuyas ediciones no necesariamente tienen que
ser actuales, en tanto que otros priorizan fuentes de los últimos años; es el caso de
“rendimiento académico,” por ser la segunda más estudiada en las maestrías de
educación de las universidades peruanas.
La cantidad de citas se evalúa por el número de referencias bibliográficas
mencionadas al final de la tesis. El nivel en el que se encuentra este indicador es
Excelente (71.4%), resultado que evidencia la inclusión considerable de referencias (en
promedio 30 referencias por tesis).
Por otro lado, se considera “autocita” cuando el autor cita un trabajo suyo
redactado previamente. La inclusión de autocitas es una práctica generalizada que no
representa mayor problema, salvo cuando se abusa de ella. Entre las ventajas de la
autocita tenemos que estas permiten evidenciar si el autor ha madurado en la línea de
investigación seguida en su tesis, lo cual le da mayor autoridad y regularidad en el
manejo del tema. La evaluación de este indicador lo ubica en la categoría de Suficiente
(100 %), resultado que evidencia un equilibrio en su uso.
El indicador “Idiomas” hace mención a la cantidad de referencias bibliográficas
en otros idiomas diferentes del español. En este sentido, el inglés sobresale como una de
las lenguas principales de la ciencia; por lo tanto, es necesario no solo recurrir a ella
sino también realizar traducciones. La evaluación de este indicador lo ubica en la
categoría de suficiente (85.7%), ya que no todas las tesis incluyen fuentes en lenguas
diferentes del español, hecho que representa una desventaja, ya que, por un lado, se
exige que las tesis de maestría tengan un nivel de análisis y documentación óptimo, por
ISSN: 2225-7136(impresa)-2304-0335(en línea)
76
lo que al no recurrir a fuentes de otras lenguas se estaría dejando de lado material
importante y relevante.
Entre los indicadores que más controversia genera, la tipología es uno ellos. En
este caso, los especialistas sugieren que se incluyan no solo libros sino también artículos
científicos y tesis. Ahora bien, el tipo de fuentes consultadas dependerá del tema ya que
algunos necesitarán de medios como periódicos, como es el caso de las ciencias
administrativas, o revistas, como es el caso de las ciencias de la salud, y no tanto de
libros, los cuales son fuente recurrente en las ciencias sociales. La evaluación de este
indicador se realizó determinando a las características tanto de origen como formales e
informativas de una unidad documental o fuente. Los resultados obtenidos califican la
calidad de este indicador como Suficiente (64.3%), aunque la categoría Excelente
también mantiene un porcentaje importante (35.7%). Estos porcentajes reflejan que en
las tesis de maestría en educación recurren a un manejo de fuentes primarias y
secundarias, como son los libros de especialidad, las tesis y artículos científicos (en ese
orden de recurrencia), todos ellos textos necesarios para una sólida construcción teórica.
El soporte documental se refiere a un medio de formato físico (libros, revistas,
periódicos, etc.), en línea (bases de datos, revistas electrónicas, páginas, correos
electrónicos, redes sociales, grupos de noticias, etc.) o electrónico (CD-ROM, cintas
magnetofónicas, DVD, Bluray, etc.). Pese a la gran cantidad de información que se
puede encontrar en línea, los soportes físicos siguen siendo sinónimos de calidad, dado
el control al que son sometidos. La evaluación de este indicador lo ubica en la categoría
de suficiente (85.7%), lo que se traduce en el uso preferente de fuentes físicas antes que
electrónicas.
En otro grado, se considera una referencia completa cuando esta dispone de
todos los datos necesarios para poder identificar la obra. Su medición se realiza
contabilizando la cantidad y el porcentaje de citas completas. La evaluación de este
indicador lo ubica en la categoría de suficiente (57.1%), aunque con una tendencia hacia
la categoría de Excelente (35.7%). Estos datos se traducen en el hecho de que, si bien
las referencias presentan los datos suficientes para su identificación, aún presentan
deficiencias, sobre todo de forma, ya que no se ciñen a cabalidad a lo establecido por el
estilo de referenciación seguido.
Por otra parte, se considera que una referencia es exacta cuando no tiene errores
de tipo menor (omisión de algún dato pero que no impide su verificación), mayor (error
que impide su verificación) y distorsión (cuando se altera por completo los datos de la
ISSN: 2225-7136(impresa)-2304-0335(en línea)
77
fuente). Se las contabiliza determinando la cantidad y el porcentaje de citas exactas e
inexactas. La evaluación de este indicador lo ubica en la categoría de Deficiente
(78.6%), siendo los errores menores los que mayor presencia tienen, lo cual se evidencia
por el porcentaje que obtuvo la categoría Suficiente (21.4%).
Finalmente, se considera el cumplimiento cuando la referencia se adecúa a lo
establecido por el estilo de referenciación seguido. El estilo que prevalece en la
población estudiada es APA. La evaluación de este indicador lo ubica en la categoría de
suficiente (78.6%), resultado que evidencia que a pesar de que reconocen un estilo, este
no se cumple a cabalidad, lo cual se evidencia por el porcentaje que obtuvo la categoría
Insuficiente (14.3%).
Tabla 2
Resultados agrupados por indicador de la calidad de las referencias bibliográficas
analizadas de las tesis
Deficiente
Suficiente
Excelente
Fi
%
Fi
%
Fi
%
Actualización
80
14,3%
241
42,9%
241
42,9%
Cantidad de citas
121
21,4%
40
7,1%
401
71,4%
Auto citación
0
0,0%
562
100,0%
0
0,0%
Idioma
0
0,0%
482
85,7%
80
14,3%
Tipología
0
0,0%
362
64,3%
200
35,7%
Soporte
80
14,3%
482
85,7%
0
0,0%
referencias completas
40
7,1%
322
57,1%
200
35,7%
Exactitud
441
78,6%
121
21,4%
0
0,0%
Cumplimiento con una
norma o estilo de
citación
80
14,3%
441
78,6%
40
7,1%
En la Tabla 3 se puede observar que el 64.3 % de las citas analizadas en el texto
se ubica en el nivel de Suficiente, en tanto que el 21.4 % se encuentra en el nivel de
Excelente. Si bien esta calificación podría indicar calidad en el manejo de las citas en el
texto de la tesis, también es propicio resaltar que el porcentaje de Excelencia resulta
siendo bajo frente a las demás escalas. Considerando que quienes elaboran las tesis son
profesionales especialistas en el tema elegido, resulta llamativa dicha calificación.
ISSN: 2225-7136(impresa)-2304-0335(en línea)
78
Tabla 3
Resultado general de la calidad de las citas en el cuerpo teórico de las tesis analizadas
Escala
Fi
%
Excelente
259
21.4%
Suficiente
777
64.3%
Deficiente
173
14.3%
Total
1209
100.0%
En la Tabla 4 se puede observar que el 85.7 % de las referencias bibliográficas
analizadas se ubica en el nivel Suficiente, en tanto que el 7.1 % se encuentra en el nivel
de Excelente. Las referencias bibliográficas permiten obtener información sobre la
realidad de la problemática de estudio, razón por la cual una evaluación correcta y
minuciosa de la misma en un trabajo de investigación no solo garantiza que el
investigador se haya documentado bien, sino que le otorga mayor rigurosidad al trabajo.
Las referencias bibliográficas analizadas presentan deficiencias de forma, lo que las
ubica en ese nivel.
Tabla 4
Resultado general de la calidad de las referencias bibliográficas analizadas
Escala
Fi
%
Excelente
40
7.1%
Suficiente
482
85.7%
Deficiente
40
7.1%
Total
562
100.0%
Discusión
Las tesis de maestría en educación deben permitir evidenciar estudios elaborados
con el más alto nivel de rigor científico, puesto que provienen de investigadores que han
tenido una formación a nivel de posgrado en cuyas mallas curriculares se incorporan
asignaturas que deberían permitir el desarrollo de competencias para la investigación
(Camps, Recuero, Samar, & Avila, 2005; Chambi, 2018). Existe diversa literatura sobre
el tema de las referencias y el citado de fuentes, lo que genera que cada institución
realice las adaptaciones de acuerdo a sus propósitos académicos. Sin embargo, son
ISSN: 2225-7136(impresa)-2304-0335(en línea)
79
pocos los que plantean un modelo razonado sobre el proceso de citado, limitándose
únicamente a reproducir la casuística de terceros. Al respecto, Rodríguez (2008) afirma
que:
El tema de la bibliografía es sumamente engorroso para
estudiantes universitarios y otros profesionales menos avezados
en estos asuntos, e incluso, algunos renuncian a reconocer los
materiales que han contribuido a la realización de su trabajo,
algo inaceptable desde el punto de vista ético y legal en el
ámbito de la ciencia (p. 50).
La evaluación tanto de las referencias como del proceso de citado no solo exige
una revisión estructural de las mismas, esto es, si están o no redactadas correctamente o
si respetan a cabalidad el estilo de referenciación elegido; la determinación de su
calidad pasa por evaluar también criterios como la revisión de investigaciones previas
pertinentes al problema de investigación, utilización crítica de la bibliografía
especializada, actualización, exhaustividad en su redacción, citas completas, idioma de
procedencia, entre otras (Martín & Lafuente, 2017). La necesidad de realizar una
evaluación profunda de las referencias bibliográficas y de los mecanismos de citación
motivó la realización del presente estudio. En ese sentido, la descripción de la
bibliografía es muy importante para determinar la exhaustividad con que se ha
desarrollado un trabajo científico, para conocer cuán avanzado está un tema en el
mundo, e identificar las fuentes relacionadas o autores de impacto respecto a una
materia determinada (Pérez, 2010).
Los hallazgos relacionados con la calidad de las citas al interior del texto de las
tesis de maestría en educación arrojan que el 64.3 % de las citas analizadas se ubica en
el nivel de Suficiente, el 21.4 % se encuentra en el nivel de Excelente, en tanto que el
14.3 % está en la franja de Deficiente. En líneas generales, los resultados fueron
positivos, a excepción de los casos con presencia de errores, lo cual es considerable. De
igual manera, la cantidad de citas sin referencias bibliográficas es alta. Es importante
resaltar que estos errores pueden revelar indicios de plagio de ideas, ya que al no haber
un correcto uso de las citas y de su localización, esta posibilidad queda abierta. Este
resultado refuerza lo dicho por Cañedo (1999), para quien:
El análisis de citas es uno de los criterios que se emplea con
mayor frecuencia para la selección de la literatura científica. De
igual forma constituye una de las alternativas más controvertidas
tanto para la evaluación de la actividad científica como de las
publicaciones (p. 30).
ISSN: 2225-7136(impresa)-2304-0335(en línea)
80
Para el caso de la calidad de las referencias bibliográficas, los resultados arrojan
que el 85.7 % de las referencias se ubica en el nivel Suficiente, el 7.1 % se encuentra en
el nivel de Excelente, en tanto que el 7.1 % restante se ubica en el nivel Deficiente. En
líneas generales, la calificación otorgada a estos criterios fue positiva. Sin embargo, los
errores, al igual que en las citas, se concentraron en la redacción y el estilo, y también
en la correspondencia de las referencias citadas en el cuerpo del texto. Esto último se
debe a la falta de unificación de criterios, aspecto que no se ha logrado.
Los resultados obtenidos reflejan claramente debilidades en el proceso de
referenciación y citación de las fuentes en este tipo de tesis, debilidades que se deben
solucionar creando las herramientas informativas necesarias que lleven a los estudiantes
(y también a los asesores de tesis) a desarrollar productos de calidad, mediante cursos
de formación de habilidades en el uso de los mismos, así como la motivación en la
consulta de fuentes de información (Meneses, Romero & Sesma, 2013).
En ambas situaciones, gracias al rápido avance de la edición electrónica, el
análisis de citas y referencias en las publicaciones científicas debe considerarse como un
método muy interesante a considerar en investigaciones de uso de información por parte
de investigadores (Urbano, 2001). Sería de utilidad extender este tipo de análisis
bibliométrico a otras áreas temáticas, generando una referencia para futuras
investigaciones y un antecedente para el análisis de productos de investigación
generados por estudiantes de pre y posgrado.
Referencias
Aiquipa, J., Ramos, C., y Guizado, L. (2018). Factores implicados para realizar o no
realizar tesis en estudiantes de psicología. Propósitos y Representaciones, 6(1),
21-82. doi: 10.20511/pyr2018.v6n1.180
Authier-Revuz, J. (2001). La representación del discurso ajeno: un campo
múltiplemente heterogéneo. Montevideo: SPEU.
Becker, D. & Chiware, D. (2015). Citation Analysis of Masters' Theses and Doctoral
Dissertations: Balancing Library Collections With Students' Research
Information Needs. The Journal of Academic Librarianship, 41(5), 613-620. doi:
https://doi.org/10.1016/j.acalib.2015.06.022
Braga, C., Bernadete, M. y Regina, M. (2003). Errores en las referencias bibliográficas
de la producción académica: un estudio de caso. Scire, 9(1), 133-138.
Recuperado de http://ibersid.eu/ojs/index.php/scire/article/view/1461
Brito, L., Ladrón De Guevara, M. y Rosas, S. (2010). Impacto de la biblioteca
universitaria en los estudios de posgrado: análisis de citas de las tesis en tres
ISSN: 2225-7136(impresa)-2304-0335(en línea)
81
programas de maestría y doctorado en la Universidad Autónoma de México
(UNAM). Ibersid, 1, 195-199.
Camps, D., Recuero, Y., Samar, M. E. y Avila, R. E. (2005). Análisis bibliométrico de
tesis de doctorado del área de las Ciencias de la Salud: primera parte,
Odontología. Revista de la Facultad de Ciencias Médicas de la Universidad
Nacional de Córdoba, 62(3), 53-56. Recuperado de
http://hdl.handle.net/10760/6647
Cañedo. R. (1999). Los análisis de cita en la evaluación de los trabajos científicos y las
publicaciones seriadas. ACIMED, 7(1), 30-39. Recuperado de
http://bvs.sld.cu/revistas/aci/vol7_1_99/aci04199.pdf
Jodar Fernández, B. (2005). Influencia del deporte en el metabolismo adulto. En
Salgado Ruíz, F. (ed.). Actividad física y salud (pp. 146-200). Barcelona: Planeta
Carpintero, H. (1981). La psicología actual desde una perspectiva bibliométrica: una
introducción. En Carpintero H. y Peiró J.M. (Dirs.), Psicología contemporánea.
María Jesús Romera Iruela Teoría y métodos cuantitativos para el estudio de su
literatura científica (pp. 25-39). Valencia: Alfaplus.
Chambi, E. (2018). Nivel de rigor científico de las tesis de Maestría en Educación, el
caso de una universidad pública. Consensus, 22(1), 37-47. Recuperado de
http://www.unife.edu.pe/publicaciones/revistas/consensus/volumen22_1/Volume
n_22_1.pdf#page=37
Escorcia, T. (2008). El análisis bibliométrico como herramienta para el seguimiento de
publicaciones científicas, tesis y trabajos de grado (Tesis de Licenciatura).
Universidad Javeriana, Colombia. Recuperado de
http://www.javeriana.edu.co/biblos/tesis/ciencias/tesis209.pdf
Hernández, R., Fernández, C., y Baptista, P. (2010). Metodología de la investigación.
México D. F.: McGraw Hill.
Huamaní, Ch. y Pacheco, J. (2009). Errores en las Referencias Bibliográficas de las
Revistas Médicas Peruanas. Revista de Gastroenterología del Perú, 29(4),341-
346. Recuperado de
http://200.62.146.19/BVRevistas/gastro/vol29n4/pdf/a07v29n4.pdf
Kaplan, N. (1965). The norrus of citation behaviour: prolegomena to the footnote.
American Documeníation, 16(3), 179-184. doi: 10.1002/asi.5090160305
López Piñero, J.L. y Terrada, M.L. (1992). Los indicadores bibliométricos y la
evaluación de la actividad médico–científica. Usos y abusos de la bibliometría.
Medicina Clínica, 98(2), 64-68. doi: 10.1016/S0300-8932(99)75008-6
Martín, S. y Lafuente, V. (2017). Referencias bibliográficas: indicadores para su
evaluación en trabajos científicos. Investigación Bibliotecológica, 31(71), 151-
180. doi: http://dx.doi.org/10.22201/iibi.0187358xp.2017.71.57814
Meneses, B., Romero, E. y Sesma, B. (2013). Análisis y evolución de las referencias en
las tesis de un posgrado en la Universidad Veracruzana. Ciencia Administrativa,
1, 34-38.
ISSN: 2225-7136(impresa)-2304-0335(en línea)
82
Mitra, A. C. (1970). The bibliographical reference: A review of its role. Annals of
Library Science and Documentation, 17(3-4), 117-123. Recuperado de
http://hdl.handle.net/123456789/28259
Muñoz, C. (2011). Cómo elaborar y asesorar una investigación de tesis. México:
Pearson.
Negro, J.M., Aguinaga, E. y González, J. (1996). La revisión de la literatura en
Alergología. Revista Española de Alergología e Inmunología Clínica, 11(5),
215-220. Recuperado de http://revista.seaic.org/octubre97/306-310.pdf
Novoa, E. (2004). Elaboración de la tesis. Lima: Fondo editorial de la Escuela de
Periodismo Jaime Bausate y Meza
Osca-Lluch, J., Civera, C. y Peñaranda, M. (2009). Consecuencias de los errores en las
referencias bibliográficas. El caso de la revista Psicothema. Psicothema, 21(2),
300-303. Recuperado de http://www.psicothema.es/pdf/3630.pdf
Peralta M., Frías, M., y Gregorio, O. (2015). Criterios, clasificaciones y tendencias de
los indicadores bibliométricos en la evaluación de la ciencia. Revista Cubana de
Información en Ciencias de la Salud, 26(3), 290-309. Recuperado de
http://acimed.sld.cu/index.php/acimed/article/view/744
Pérez, A. (2010). Empleo de citas y referencias bibliográficas en trabajos científicos.
Documentación de las Ciencias de la Información, 33, 185-193. Recuperado de
http://revistas.ucm.es/index.php/DCIN/article/view/dcin1010110185a
Polit, D. y Hungler, B. (2000). Investigación científica en ciencias de la salud (6.
a
ed.).
México, D. F.: McGraw-Hill, Interamericana
Pulido, M., González, J. C., y Sanz, F. (1993). Errores en las referencias bibliográficas:
un estudio retrospectivo en Medicina Clínica (1962-1992). Medicina Clínica,
104(5), 170-174.
Rodríguez, L. (2008). ¿Le resulta difícil hacer la bibliografía? Los gestores de
referencias bibliográficas pueden ayudarlo. ACIMED, 19(2).
Rodríguez, Y. y García, F. (2016). Valoración de referencias bibliográficas en trabajos
de grado y proyectos académicos de trabajo colectivo en la Licenciatura en
Pedagogía Infantil de la Corporación Universitaria Rafael Núñez de Cartagena:
2004 a 2012 (Tesis de Licenciatura). Corporación Universitaria Rafael Núñez,
Colombia. Recuperado de http://hdl.handle.net/123456789/895
Rosenberg, Z. (2015). Citation Analysis of M.A. Theses and Ph.D. Dissertations in
Sociology and Anthropology: An Assessment of Library Resource Usage. The
Journal of Academic Librarianship, 41(5), 680-688. doi:
doi.org/10.1016/j.acalib.2015.05.010
Sánchez, D., y Ainciburi, M. (2011). Las funciones retóricas de la citación en la
escritura académica universitaria. Estudio comparado del género de memorias de
máster en nativos españoles y estudiantes filipinos de ELE. Recuperado de:
http://www.mecd.gob.es/educacion/mc/redele/biblioteca-
virtual/numerosanteriores/2011/memoriamaster/2-trimestre/sanchez-
jimenez.html
ISSN: 2225-7136(impresa)-2304-0335(en línea)
83
Silva, D., Rodríguez, M. y Del Campo, A. (2012). Las referencias bibliográficas en
artículos originales y de revisión en revistas biomédicas cubanas. Revista
Cubana de Salud Pública, 39(1), 83-95
Swales, J. (1990).Genre analysis. English in academic and research settings.
Cambridge: Cambridge University Press
Torres, G. y Flores, M. (2015). Las citaciones como marca o huella de intertextualidad
en las tesis de maestría y doctorado. Véritas, 6(1), 9-12. Recuperado de:
https://revistas.ucsm.edu.pe/ojs/index.php/veritas/article/view/88
Torres-Salinas, D. y Jiménez-Contreras, E. (2010). Introducción y estudio comparativo
de los nuevos indicadores de citación sobre revistas científicas en Journal
Citation Reports y Scopus. El profesional de la información, 19(2),201-207. doi:
10.3145/epi.2010.mar.12
Urbano, C. (2001). El análisis de citas en trabajos de investigadores como método para
el estudio del uso de información en bibliotecas. Anales de documentación, 4,
243-266. Recuperado de https://revistas.um.es/analesdoc/article/view/2281
Vara, A. (2010) ¿Cómo evaluar la rigurosidad científica de las tesis doctorales? Lima:
Facultad de Ciencias Administrativas y Recursos Humanos de la Universidad de
San Martín de Porres.
ISSN: 2225-7136(impresa)-2304-0335(en línea)
84