martes, abril 17, 2012

Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son?

EC3 ofrece la segunda nota de la serie sobre Google Scholar. En este caso se estudia la cobertura de las revistas españolas de Ciencias Sociales y Jurídicas en Google Metrics y se desaconseja el uso de esta nueva herramienta para la evaluación de publicaciones en dichas disciplinas 
----------------

Cabezas-Clavijo, Álvaro; Delgado-López-Cózar, Emilio (2012). “Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son?” EC3 Working Papers, 2, 17 de abril. Disponible en http://hdl.handle.net/10760/16892

INTRODUCCIÓN

Hemos de confesar que la carrera iniciada por Google Scholar con sus productos Citations, nacido en  julio de 2011 (Cabezas-Clavijo y Torres-Salinas, 2012) y Metrics, lanzado hace pocos días ha cogido al grupo EC3 (Evaluacion de la Ciencia y de la Comunicación Científica) en plena faena de experimentación de las potencialidades que ofrece el buscador para la medición del impacto de la producción científica generada en España en el ámbito de las Humanidades y Ciencias Sociales.

En este sentido, el producto recién lanzado por la compañía de Silicon Valley nos lleva a la necesidad de diferenciar desde un primer momento entre la fuente de información Google Scholar, y el producto Google Scholar Metrics. En este análisis, siguiendo la serie iniciada en la nota anterior (Cabezas-Clavijo y Delgado-López-Cózar, 2012), nos ocupamos del producto Google Scholar Metrics, estudiando su cobertura en lo que concierne a las revistas españolas de Ciencias Sociales y Jurídicas, y discutiendo su potencial uso como herramienta para la evaluación en estas áreas.

Uno de los primeros estudios a realizar, a fin de testar la utilidad de Google Scholar Metrics para fines evaluativos, es la medición de su cobertura. Así, tomando como caso las revistas españolas más influyentes en los índices IN-RECS (Índice de impacto de las revistas españolas de Ciencias Sociales) e IN-RECJ (Índice de impacto de las revistas españolas de Ciencias Jurídicas), se ha calculado la tasa de cobertura para las diferentes disciplinas dentro de dichas áreas. Hay que señalar que se trata de un análisis relevante ya que Scholar Metrics excluye del cómputo del índice h a las revistas con una producción menor a 100 documentos entre 2007 y 2011, así como a aquéllas cuyo índice h es igual a cero.

RESULTADOS

Para las revistas españolas con mayor promedio de citas en IN-RECS para el período 2000-2009, la tasa de cobertura del nuevo producto de Google alcanza el 69,8%, mostrando importantes variaciones entre disciplinas. Así, Comunicación, Documentación y Ciencia Política muestran tasas de cobertura iguales o por encima del 80% mientras que Urbanismo y Economía son las disciplinas donde existen un mayor número de revistas no cubiertas por Google Scholar Metrics (tabla 1). Cuando se desciende a nivel micro, saltan a la vista notorias ausencias: Revista Española de Ciencia Política, en Ciencias Políticas, Análisis y Modificación de la Conducta en Psicología o las recientemente fusionadas Spanish Economic Review e Investigaciones Económicas, en Economía son algunas de las más llamativas.

Tabla 1: Cobertura en Google Scholar Metrics de las revistas más relevantes de IN-RECS (2000-2009) según disciplinas.

ÁREA
INCLUIDAS
NO INCLUIDAS
TOTAL
COBERTURA
COMUNICACIÓN
7
1
8
87,5
DOCUMENTACION
6
1
7
85,7
CIENCIA POLÍTICA
8
2
10
80,0
PSICOLOGÍA
17
5
22
77,3
ANTROPOLOGÍA
6
2
8
75,0
EDUCACION
27
9
36
75,0
SOCIOLOGÍA
11
4
15
73,3
GEOGRAFÍA
8
5
13
61,5
ECONOMIA
23
17
40
57,5
URBANISMO
2
4
6
33,3
TOTAL (sin duplicados)
113
49
162
69,8

En cuanto al Derecho, la tasa de cobertura es del 62,1%, esto es, cuatro de cada diez revistas relevantes en las Ciencias Jurídicas españolas quedan fuera de la herramienta de Google destinada a medir el impacto de las publicaciones. En este caso, junto a los umbrales de producción establecidos por Google (son muchas las revistas españolas en Jurídicas que no alcanzan los veinte trabajos al año), la menor tasa de cobertura se puede explicar porque Scholar Metrics no lista las revistas con índice h=0, algo que no es inusual en la ciencia jurídica española cuando se aplican tan leoninos marcos temporales.

Tabla 2: Cobertura en Google Scholar Metrics de las revistas más relevantes de IN-RECJ  (2000-2009) según disciplinas.
 
ÁREA
INCLUIDAS
NO INCLUIDAS
TOTAL
COBERTURA
ECLESIASTICO
2
0
2
100,0
FINANCIERO
6
2
8
75,0
TRABAJO
9
3
12
75,0
CIVIL Y MERCANTIL
16
6
22
72,7
INTERNACIONAL
7
3
10
70,0
CONSTITUCIONAL
7
4
11
63,6
ADMINISTRATIVO
10
7
17
58,8
MULTIDISCIPLINAR
12
11
23
52,2
PENAL Y PROCESAL
5
6
11
45,5
FILOSOFIA
2
3
5
40,0
ROMANO
1
4
5
20,0
TOTAL (sin duplicados)
72
44
116
62,1

Hay que señalar que para ambos casos se ha tomado una muestra de revistas relevantes en cada especialidad. Cabría esperar que a medida que se ampliara la muestra elegida, y dado que las revistas menos relevantes tienden a publicar menos trabajos y a generar menor impacto, la tasa de cobertura de las revistas nacionales en Sociales y Jurídicas fuera incluso más reducida.

Otro aspecto importante a reseñar es la ventana de citación elegida, con la que no podemos estar de acuerdo. En revistas de los ámbitos de las Humanidades y de las Ciencias Sociales, todas ellas, además de marcada orientación nacional, lo más prudente es emplear períodos amplios, a fin de generar valores significativos y discriminatorios. Para comprobar lo cierto de este planteamiento mostramos los índices H de las revistas españolas de Ciencias Sociales que figuran en el listado publicado por Google Metrics con una ventana de citación de 5 años (2007-2011) y los compararemos con el índice H que obtenían estas revistas en Julio de 2011 usando Google Scholar como fuente. Dichos cálculos se efectuaron por parte de EC3 para las revistas españolas de Ciencias Sociales y Jurídicas para un período de 10 años (2001-2010), trabajo que mostraremos en una próxima nota.

En la comparación de  los datos de impacto recabados por EC3 en 2011, frente a los ofrecidos por Google Metrics (tabla 3), se aprecia claramente el mayor valor discriminatorio de la ventana de citación más extensa. De este modo, la extensión del rango del índice h permite aflorar diferencias importantes entre revistas de la misma especialidad. Dada la lentitud de los procesos de producción, difusión y recepción del conocimiento científico en estos campos emplear períodos más largos es beneficioso para capturar la máxima potencialidad de citación de los documentos. Véase a modo de ejemplo las revistas con índice h=10 en Scholar Metrics que en el cálculo de EC3 con ventana de diez años se extiende ahora en un rango de índice h de entre 7 y 21.

Tabla 3: Índices h de las revistas españolas más destacadas de Ciencias Sociales, calculado según Google Scholar Metrics (2012, sobre el periodo 2007-2011) y EC3 (2011, sobre el periodo 2001-2010).

REVISTA
GOOGLE 2007-2011
EC3 2001-2010
Psicothema
22
37
International Journal of Clinical and Health Psychology
20
30
Revista de educación
15
18
El Profesional de la Informacion
12
19
Scripta Nova
12
17
Papeles del Psicólogo
12
18
Anales de Psicología
12
20
International Journal of Psychology and Psychological Therapy
11
18
Revista iberoamericana de educación
10
21
Revista de economía aplicada
10
17
Revista de Universidad y Sociedad del Conocimiento, RUSC
10
12
Profesorado: Revista de curriculum y formación del profesorado
10
15
Revista de Psicodidáctica
10
7
Enseñanza de las ciencias
9
29
Infancia y Aprendizaje
9
16
Revista Latina de comunicación social
9
9
Revista de Psicología del Deporte
9
13
Economía industrial
9
15
Pixel-Bit: Revista de medios y educación
9
13
Revista española de Documentación Científica
9
15
Información Comercial Española, ICE: Revista de economía
9
13
Hacienda pública española
8
16
Cuadernos de Psicología del Deporte
8
9
Política y sociedad
8
12
América Latina Hoy
8
13
Cuadernos de Pedagogía
8
15
Revista Interuniversitaria de Formación del Profesorado
8
15
Revista de Investigación en Educación
8
6

Hay que señalar que esta limitación no es exclusiva de las revistas españolas en Sociales y Humanidades, ya que es un fenómeno que afecta a las publicaciones en idiomas diferentes al inglés. Una rápida exploración de las cien revistas con más elevados índices h por idiomas permite observar lo limitado del rango de este indicador para la mayor parte de idiomas (por ejemplo, Alemán: 27-6; Español: 24-8; Francés: 13-6; Italiano: 9-2) con lo que parece complicado la realización de evaluaciones rigurosas con tan limitados marcos temporales y las subsecuentes mínimas diferencias entre revistas.

Dicho esto, llama igualmente la atención observar como en el plazo de un año los valores H se han incrementado notablemente, piénsese que estamos comparando un período de cinco frente a uno de diez años. Esto se explica en el hecho de que la información científica circulante en formato electrónico crece a ritmos vertiginosos y los robots de Google así lo reflejan. Como botón de muestra, Aguillo (2012) señalaba que el número de documentos indizados en Google Scholar bajo el dominio .es era de 907.000 en agosto de 2010, mientras que un cálculo a de abril de 2012 refleja que el número de documentos recogidos por el buscador se sitúa en torno a los tres millones, es decir, en menos de dos años, el número de documentos en Google Scholar se ha triplicado en el caso de España. Por tanto, en el futuro, por mor del crecimiento de datos tendremos números cada vez más fiables y robustos estadísticamente lo que también permitirá reducir los marcos temporales a usar para obtener datos solventes. En cualquier caso conviene recalcar que nuestra recomendación actualmente es el uso de marcos temporales de diez años si la evaluación se refiere a revistas de ámbito nacional; si se operara en un entorno internacional, no sería necesario el uso de marcos temporales tan extensos, dado el mayor universo potencial de citación de las revistas internacionales.

CONCLUSIÓN

Los datos recabados en este análisis permiten concluir que, pese a las potencialidades de Google Scholar como fuente para evaluación de la investigación, Scholar Metrics es un producto inmaduro que consta de múltiples limitaciones en su configuración actual para la evaluación de las publicaciones de corte nacional en los ámbitos de Ciencias Sociales y de Jurídicas, y por extensión, del conjunto de las Humanidades. Lo inadecuado del marco temporal aplicado por Google junto a la exclusión de revistas relevantes para los investigadores de múltiples disciplinas sociales y jurídicas no aconseja por el momento el uso de Scholar Metrics en ningún proceso de evaluación.

FINANCIACIÓN

Trabajo financiado con cargo al proyecto HAR2011-30383-C02-02 de la Dirección General de Investigación y Gestión del Plan Nacional de I+D+I. MInisterio de Economía y Competitividad.

REFERENCIAS

Aguillo, I. F. (2012). “Is Google Scholar useful for bibliometrics? A webometric analysis”. Scientometrics, 91(2), 343-351. DOI: 10.1007/s11192-011-0582-8

Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2012). “Scholar Metrics: el impacto de las revistas según Google, ¿un divertimento o un producto científico aceptable?”. EC3noticias http://ec3noticias.blogspot.com.es/2012/04/scholar-metrics-el-impacto-de-las.html

Cabezas-Clavijo, Á. & Torres-Salinas, D. (2012). “Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación”. Anuario ThinkEPI, 6. http://ec3noticias.blogspot.com.es/2011/12/thinkepi-google-scholar-citations-y-la.html 

1 comentario:

Rafael Repiso dijo...

Esta es justo la visión que falta para valorar en su justa medida el producto. Muy bueno.