Cabezas-Clavijo, Álvaro; Delgado-López-Cózar, Emilio (2012). “¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers, 3, 23 de abril. Disponible en http://hdl.handle.net/10760/16888
Listado de las revistas españolas de Ciencias Sociales según su índice H
Listado de las revistas españolas de Ciencias Jurídicas según su índice H
Listado de las revistas españolas de Ciencias Jurídicas según su índice H
INTRODUCCIÓN
Tras dos notas previas centradas en describir el nuevo producto de Google, Scholar Metrics (Cabezas-Clavijo y Delgado López-Cózar, 2012a) y testar su cobertura y utilidad para la evaluación de las revistas españolas de Ciencias Sociales y Jurídicas (Cabezas-Clavijo y Delgado López-Cózar, 2012b), en este tercer working paper, el foco se centra en Google Scholar como fuente de información para la evaluación de revistas científicas en general, y de entornos nacionales, en particular, en el ámbito de las Ciencias Sociales y Jurídicas. En el marco de una serie de estudios exploratorios que EC3 ha desarrollado en los últimos meses, presentamos aquí los índices H y G de las revistas españolas de Ciencias Sociales y Jurídicas, tomando Google Scholar como fuente para su cálculo. Esta línea de trabajo se centra en el uso de fuentes de información alternativas a las ofrecidas por las grandes bases de datos multidisciplinares de la ciencia (ISI y Scopus), y en el estudio de la solvencia de Google Scholar como fuente válida para análisis bibliométricos, siguiendo la prolífica línea de investigación desarrollada en los últimos años (Harzing y der Wal, 2008; Torres-Salinas et al, 2009; Aguillo, 2012).
Antes de exponer los datos más relevantes de nuestro estudio, hemos de señalar que en España existen en la actualidad diversos (incluso diríamos que demasiados) productos encaminados a valorar de manera justa la actividad investigadora en los campos de Ciencias Sociales y Humanidades. Esta furia evaluadora de las instancias responsables de la política científica y universitaria ha llevado a la creación de un verdadero estado de excepción evaluativa (Delgado López-Cózar, 2008), que vive un nuevo episodio estos días con la elección de los sexenios de investigación como factor discriminador en las universidades no sólo de los méritos en investigación, sino también como baremo para asignar horas docentes a los profesores universitarios. Productos para la evaluación en Ciencias Sociales, como DICE o IN-RECS son mencionados en algunas de las convocatorias de carácter evaluador existentes en nuestro país, aunque justo es reconocer que ninguno de ellos se ha establecido como un estándar de facto.
En nuestro caso, la exploración de Google Scholar como fuente de información obedece a razones prácticas de índole económica; las restricciones presupuestarias de los últimos tiempos nos hacen explorar formas más eficientes (si bien es probable que la familia IN-RECx sea uno de los índices bibliométricos menos costosos que se confeccionan en nuestro país), para la elaboración de índices de impacto en las disciplinas sociales y humanísticas.
Fue el ámbito de las revistas científicas españolas de estas áreas el primero que centró nuestra atención, como es lógico, ya que nuestro grupo viene produciendo desde el año 2003 IN-RECS (Índice de impacto de las revistas españolas de Ciencias Sociales) e IN-RECJ (Índice de impacto de las revistas españolas de Ciencias Jurídicas), y desde fechas recientes IN-RECH (Índice de impacto de las revistas españolas de Ciencias Humanas), productos para evaluar la ciencia española en dichas disciplinas, escasamente cubiertas por las bases de datos tradicionales para evaluación de la actividad investigadora. Con fines experimentales, en julio 2011 hicimos una réplica de nuestros índices usando en este caso Google Scholar, incluso acariciamos en cierto momento lanzar una versión denominada IN-RECS SCHOLAR. Tras realizar las búsquedas en el susodicho buscador de los más de 1000 títulos de revistas incluidos en nuestros índices, y tras el inexcusable proceso de normalización de los datos obtuvimos unos rankings de revistas en base a dos indicadores bibliométricos, el índice h (Hirsch, 2005) y el índice g (Egghe, 2006). La ventana de citación empleada fue de diez años: 2001-2010.
Por tratarse de un ejercicio puramente experimental y por cautela, siempre necesaria en estos temas que tanta trascendencia están tomando en España para la vida y haciendas de los investigadores e instituciones científicas, decidimos no publicar los datos, a fin de no introducir más productos que pudieran confundir, más que aclarar el panorama de la evaluación de las revistas científicas españolas. Ahora, al calor de la aparición de Google Metrics, y con el reverdecimiento del debate sobre Google Scholar como fuente válida para la evaluación creemos oportuno publicar los resultados para mostrar de manera comparativa el alcance y las posibles limitaciones de esta fuente de datos.
RESULTADOS
A modo de síntesis mostramos las revistas con mayor impacto, en función de su índice h para cada una de las categorías de IN-RECS (tabla 1) e IN-RECJ (tabla 2).
Tras dos notas previas centradas en describir el nuevo producto de Google, Scholar Metrics (Cabezas-Clavijo y Delgado López-Cózar, 2012a) y testar su cobertura y utilidad para la evaluación de las revistas españolas de Ciencias Sociales y Jurídicas (Cabezas-Clavijo y Delgado López-Cózar, 2012b), en este tercer working paper, el foco se centra en Google Scholar como fuente de información para la evaluación de revistas científicas en general, y de entornos nacionales, en particular, en el ámbito de las Ciencias Sociales y Jurídicas. En el marco de una serie de estudios exploratorios que EC3 ha desarrollado en los últimos meses, presentamos aquí los índices H y G de las revistas españolas de Ciencias Sociales y Jurídicas, tomando Google Scholar como fuente para su cálculo. Esta línea de trabajo se centra en el uso de fuentes de información alternativas a las ofrecidas por las grandes bases de datos multidisciplinares de la ciencia (ISI y Scopus), y en el estudio de la solvencia de Google Scholar como fuente válida para análisis bibliométricos, siguiendo la prolífica línea de investigación desarrollada en los últimos años (Harzing y der Wal, 2008; Torres-Salinas et al, 2009; Aguillo, 2012).
Antes de exponer los datos más relevantes de nuestro estudio, hemos de señalar que en España existen en la actualidad diversos (incluso diríamos que demasiados) productos encaminados a valorar de manera justa la actividad investigadora en los campos de Ciencias Sociales y Humanidades. Esta furia evaluadora de las instancias responsables de la política científica y universitaria ha llevado a la creación de un verdadero estado de excepción evaluativa (Delgado López-Cózar, 2008), que vive un nuevo episodio estos días con la elección de los sexenios de investigación como factor discriminador en las universidades no sólo de los méritos en investigación, sino también como baremo para asignar horas docentes a los profesores universitarios. Productos para la evaluación en Ciencias Sociales, como DICE o IN-RECS son mencionados en algunas de las convocatorias de carácter evaluador existentes en nuestro país, aunque justo es reconocer que ninguno de ellos se ha establecido como un estándar de facto.
En nuestro caso, la exploración de Google Scholar como fuente de información obedece a razones prácticas de índole económica; las restricciones presupuestarias de los últimos tiempos nos hacen explorar formas más eficientes (si bien es probable que la familia IN-RECx sea uno de los índices bibliométricos menos costosos que se confeccionan en nuestro país), para la elaboración de índices de impacto en las disciplinas sociales y humanísticas.
Fue el ámbito de las revistas científicas españolas de estas áreas el primero que centró nuestra atención, como es lógico, ya que nuestro grupo viene produciendo desde el año 2003 IN-RECS (Índice de impacto de las revistas españolas de Ciencias Sociales) e IN-RECJ (Índice de impacto de las revistas españolas de Ciencias Jurídicas), y desde fechas recientes IN-RECH (Índice de impacto de las revistas españolas de Ciencias Humanas), productos para evaluar la ciencia española en dichas disciplinas, escasamente cubiertas por las bases de datos tradicionales para evaluación de la actividad investigadora. Con fines experimentales, en julio 2011 hicimos una réplica de nuestros índices usando en este caso Google Scholar, incluso acariciamos en cierto momento lanzar una versión denominada IN-RECS SCHOLAR. Tras realizar las búsquedas en el susodicho buscador de los más de 1000 títulos de revistas incluidos en nuestros índices, y tras el inexcusable proceso de normalización de los datos obtuvimos unos rankings de revistas en base a dos indicadores bibliométricos, el índice h (Hirsch, 2005) y el índice g (Egghe, 2006). La ventana de citación empleada fue de diez años: 2001-2010.
Por tratarse de un ejercicio puramente experimental y por cautela, siempre necesaria en estos temas que tanta trascendencia están tomando en España para la vida y haciendas de los investigadores e instituciones científicas, decidimos no publicar los datos, a fin de no introducir más productos que pudieran confundir, más que aclarar el panorama de la evaluación de las revistas científicas españolas. Ahora, al calor de la aparición de Google Metrics, y con el reverdecimiento del debate sobre Google Scholar como fuente válida para la evaluación creemos oportuno publicar los resultados para mostrar de manera comparativa el alcance y las posibles limitaciones de esta fuente de datos.
RESULTADOS
A modo de síntesis mostramos las revistas con mayor impacto, en función de su índice h para cada una de las categorías de IN-RECS (tabla 1) e IN-RECJ (tabla 2).
Tabla 1: Revistas con mayor índice H según categorías IN-RECS (sombreadas en verde las revistas que ocupan posiciones dentro del primer cuartil de su categoría en el impacto acumulativo 2000-2009 en IN-RECS)
Tabla 2: Revistas con mayor índice H según categorías IN-RECJ (sombreadas en verde las revistas que ocupan posiciones dentro del primer cuartil de su categoría en el impacto acumulativo 2000-2009 en IN-RECJ)
CONCLUSIONES
CATEGORÍA / REVISTA
|
INDICADORES
|
|
ANTROPOLOGÍA
|
H INDEX
|
G INDEX
|
PASOS.
Revista de Turismo y Patrimonio Cultural
|
10
|
13
|
AIBR.
Revista de Antropología Iberoamericana
|
7
|
8
|
Gazeta de
Antropología
|
6
|
19
|
Trans.
Revista Transcultural de Música
|
6
|
11
|
Revista
de Antropología Social
|
6
|
9
|
Revista
de Antropología Experimental
|
6
|
9
|
CIENCIA POLÍTICA
|
H INDEX
|
G INDEX
|
América
Latina, Hoy. Revista de Ciencias Sociales
|
13
|
21
|
Revista
Española de Ciencia Política
|
13
|
19
|
Política
y Sociedad
|
12
|
15
|
Revista
CIDOB d Afers Internacionals
|
9
|
25
|
Pasajes
|
8
|
15
|
Ecología
Política. Cuadernos de Debate Internacional
|
8
|
15
|
Revista
de Estudios Políticos
|
8
|
11
|
DOCUMENTACIÓN
|
H INDEX
|
G INDEX
|
El
Profesional de la Información
|
19
|
26
|
Revista
Española de Documentación Científica
|
15
|
20
|
Cybermetrics:
International Journal of Scientometrics, Informetrics and Bibliometrics
|
11
|
19
|
Anales de
Documentación
|
11
|
17
|
COMUNICACIÓN
|
H INDEX
|
G INDEX
|
Telos.
Cuadernos de Comunicación e Innovación
|
11
|
13
|
Anàlisi:
quaderns de comunicació i cultura
|
10
|
16
|
Zer.
Revista de Estudios de Comunicación
|
9
|
13
|
Revista Latina
de Comunicación Social
|
9
|
12
|
Estudios
sobre el Mensaje Periodístico
|
8
|
11
|
Comunicar.
Revista de Medios de Comunicación y Educación
|
8
|
11
|
Comunicación
y sociedad: Revista de la Facultad de Comunicación
|
8
|
10
|
ECONOMÍA
|
H INDEX
|
G INDEX
|
Papeles
de Economía Española
|
20
|
26
|
Spanish
Economic Review
|
19
|
28
|
Investigaciones
Económicas
|
19
|
28
|
Revista
de Economía Aplicada
|
17
|
23
|
Hacienda
Pública Española
|
16
|
22
|
Ciriec-España.
Revista de Economía Pública, Social y Cooperativa
|
16
|
21
|
Economía
Industrial
|
15
|
21
|
Investigaciones
Regionales
|
13
|
22
|
Información
Comercial Española. Revista de Economía
|
13
|
0
|
Distribución
y Consumo
|
12
|
13
|
Moneda y
Crédito
|
11
|
16
|
Revista
Española de Financiación y Contabilidad
|
11
|
16
|
Revista
de Historia Económica
|
11
|
16
|
Estudios
de Economía Aplicada
|
11
|
16
|
Cuadernos
de Turismo
|
11
|
15
|
Universia
Business Review
|
11
|
15
|
Estadística
Española
|
11
|
14
|
Cuadernos
de Economía y Dirección de la Empresa
|
11
|
13
|
EDUCACIÓN
|
H INDEX
|
G INDEX
|
Enseñanza
de las Ciencias. Revista de Investigación y Experiencias Didácticas
|
29
|
45
|
Revista
Iberoamericana de Educación
|
21
|
29
|
Revista de
Educación (Madrid)
|
18
|
15
|
Infancia
y Aprendizaje
|
16
|
23
|
Profesorado.
Revista de Currículum y Formación del Profesorado
|
15
|
23
|
Revista
Interuniversitaria de Formación del Profesorado
|
15
|
22
|
RED. Revista
de Educación a Distancia (Murcia)
|
15
|
21
|
Cuadernos
de Pedagogía
|
15
|
18
|
Revista
Electrónica de Enseñanza de las Ciencias
|
14
|
23
|
Pixel-Bit.
Revista de Medios y Educación
|
13
|
19
|
Apunts.
Educación Física y Deportes
|
13
|
18
|
Electronic
Journal of Research in Educational Psychology
|
13
|
18
|
Revista
de Universidad y Sociedad del Conocimiento, RUSC
|
12
|
22
|
RIE.
Revista de Investigación Educativa
|
12
|
20
|
Revista
Española de Pedagogía
|
12
|
18
|
Bordón
|
12
|
17
|
GEOGRAFÍA
|
H INDEX
|
G INDEX
|
Scripta
Nova. Revista Electrónica de Geografía y Ciencias Sociales
|
20
|
26
|
Migraciones
|
14
|
19
|
Boletín
de la Asociación de Geógrafos Españoles
|
14
|
18
|
Biblio 3W.
Revista Bibliográfica de Geografía y Ciencias Sociales
|
12
|
18
|
Cuadernos
de Turismo
|
11
|
15
|
Ciudad y
Territorio. Estudios Territoriales
|
10
|
16
|
Investigaciones
Geográficas
|
9
|
13
|
Ería
|
9
|
12
|
Papeles
de Geografía
|
9
|
10
|
PSICOLOGÍA
|
H INDEX
|
G INDEX
|
Psicothema
|
37
|
50
|
International
Journal of Clinical and Health Psychology
|
30
|
53
|
Anales de
Psicología
|
20
|
28
|
The
Spanish Journal of Psychology
|
18
|
27
|
Papeles del
Psicólogo: Revista del Colegio Oficial de Psicólogos
|
18
|
25
|
International
Journal of Psychology and Psychological Therapy
|
18
|
24
|
Infancia
y Aprendizaje
|
16
|
23
|
Ansiedad
y Estrés
|
16
|
20
|
Adicciones.
Revista de Socidrogalcohol
|
16
|
20
|
Revista
de Psicología Social
|
16
|
19
|
Análisis
y Modificación de Conducta
|
15
|
21
|
SOCIOLOGÍA
|
H INDEX
|
G INDEX
|
Revista
Española de Investigaciones Sociológicas
|
16
|
22
|
Athenea Digital.
Revista de Pensamiento e Investigación Social
|
14
|
23
|
Revista
de Estudios de Juventud
|
13
|
17
|
Política
y Sociedad
|
12
|
16
|
Sistema.
Revista de Ciencias Sociales
|
11
|
17
|
Revista
Internacional de Sociología
|
11
|
15
|
Nómadas: Revista
Crítica de Ciencias Sociales y Jurídicas
|
11
|
14
|
Archipiélago:
Cuadernos de crítica de la cultura
|
10
|
26
|
Sociología
del Trabajo
|
10
|
15
|
Claves de
Razón Práctica
|
10
|
15
|
Redes
|
10
|
14
|
URBANISMO
|
H INDEX
|
G INDEX
|
Ciudad y
Territorio. Estudios Territoriales
|
9
|
11
|
Revista
de Obras Públicas
|
5
|
6
|
Tabla 2: Revistas con mayor índice H según categorías IN-RECJ (sombreadas en verde las revistas que ocupan posiciones dentro del primer cuartil de su categoría en el impacto acumulativo 2000-2009 en IN-RECJ)
CATEGORÍA / REVISTA
|
INDICADORES
|
|
ADMINISTRATIVO
|
H INDEX
|
G INDEX
|
Análisis Local
|
7
|
9
|
Revista de
Administración Pública
|
6
|
7
|
Civitas. Revista
Española de Derecho Administrativo
|
5
|
7
|
DS : Derecho y Salud
|
5
|
6
|
Revista Vasca de
Administración Pública
|
4
|
8
|
Revista Aranzadi de
Derecho Ambiental
|
4
|
5
|
Revista Catalana de
Dret Públic
|
4
|
5
|
Cuadernos de Derecho
Público
|
4
|
4
|
Justicia
Administrativa. Revista de Derecho Administrativo
|
4
|
4
|
Revista Aragonesa de
Administración Pública
|
4
|
4
|
Patrimonio Cultural y
Derecho
|
4
|
4
|
CIVIL Y MERCANTIL
|
H INDEX
|
G INDEX
|
Consultor
inmobiliario
|
7
|
10
|
Estudios sobre
Consumo
|
5
|
6
|
Revista de Derecho
Privado
|
5
|
6
|
Anuario de Derecho
Civil
|
4
|
5
|
Revista de Derecho de
Sociedades
|
4
|
5
|
Revista Jurídica de
Castilla y León
|
4
|
5
|
Aranzadi Civil
|
4
|
4
|
Revista Crítica de
Derecho Inmobiliario
|
4
|
4
|
Revista de Derecho
Bancario y Bursátil
|
3
|
4
|
Revista de Derecho
Concursal y Paraconcursal
|
3
|
4
|
AR: Revista de
Derecho Informático
|
3
|
4
|
Actualidad Civil
|
3
|
3
|
CIRIEC-España.
Revista jurídica de economía social y cooperativa
|
3
|
3
|
Cuadernos de Derecho
y Comercio
|
3
|
3
|
Derecho Privado y
Constitución
|
3
|
3
|
Revista de Derecho
Mercantil
|
3
|
3
|
Revista de Derecho
Patrimonial
|
3
|
3
|
CT. Catastro. Revista
de la Dirección General del Catastro
|
3
|
3
|
IDP : Revista de
Internet, Derecho y Política
|
3
|
3
|
Revista de Derecho de
Familia. Doctrina, Jurisprudencia, Legislación
|
3
|
3
|
Revista de la
Contratación Electrónica
|
3
|
3
|
Revista Española de
Seguros
|
3
|
3
|
CONSTITUCIONAL
|
H INDEX
|
G INDEX
|
Revista de Estudios
Políticos
|
8
|
11
|
Revista Española de
Derecho Constitucional
|
6
|
11
|
Anuario
Iberoamericano de Justicia Constitucional
|
5
|
16
|
Historia
Constitucional. Revista Electrónica de Historia Constitucional
|
5
|
6
|
Cuadernos de Derecho
Público
|
4
|
4
|
Revista de las Cortes
Generales
|
3
|
4
|
Aequalitas : Revista
jurídica de igualdad de oportunidades entre mujeres y hombres
|
3
|
4
|
Anuario de Derechos
Humanos
|
3
|
4
|
Revista de Derecho
Constitucional Europeo
|
3
|
4
|
Derecho Privado y
Constitución
|
3
|
3
|
Revista de Derecho
Político
|
3
|
3
|
Teoría y Realidad
Constitucional
|
3
|
3
|
Empresas Políticas
|
3
|
3
|
ECLESIÁSTICO
|
H INDEX
|
G INDEX
|
Revista General de
Derecho Canónico y Derecho Eclesiástico del Estado
|
2
|
2
|
Revista Española de
Derecho Canónico
|
2
|
2
|
FILOSOFÍA DEL DERECHO
|
H INDEX
|
G INDEX
|
Doxa. Cuadernos de
Filosofía del Derecho
|
8
|
10
|
Anales de la Cátedra
Francisco Suárez
|
7
|
8
|
Cuadernos
Electrónicos de Filosofía del Derecho
|
6
|
8
|
FINANCIERO
|
H INDEX
|
G INDEX
|
Presupuesto y Gasto
Público
|
8
|
9
|
Revista Valenciana de
Economía y Hacienda
|
7
|
9
|
Documentos -
Instituto de Estudios Fiscales
|
7
|
9
|
Crónica Tributaria
|
6
|
8
|
Quincena Fiscal:
Revista de Actualidad Fiscal
|
5
|
6
|
Estudios Financieros.
Revista de Contabilidad y Tributación
|
4
|
5
|
Impuestos. Revista de
Doctrina, Legislación y Jurisprudencia
|
4
|
5
|
Civitas. Revista
Española de Derecho Financiero
|
4
|
4
|
INTERNACIONAL
|
H INDEX
|
G INDEX
|
Revista Electrónica
de Estudios Internacionales
|
6
|
11
|
Revista de Derecho
Comunitario Europeo
|
5
|
6
|
Noticias de la Unión
Europea
|
5
|
5
|
Revista Española de
Derecho Internacional
|
4
|
5
|
Cuadernos Europeos de
Deusto
|
4
|
5
|
MULTIDISCIPLINAR
|
H INDEX
|
G INDEX
|
Nómadas: Revista
Crítica de Ciencias Sociales y Jurídicas
|
11
|
14
|
Jueces para la
Democracia
|
6
|
10
|
InDret. Revista para
el análisis del derecho
|
6
|
8
|
Cuadernos de Derecho
Judicial
|
5
|
6
|
DS : Derecho y Salud
|
5
|
6
|
ICADE. Revista de las
Facultades de Derecho y Ciencias Económicas y Empresariales
|
5
|
6
|
Revista Catalana de
Dret Públic
|
4
|
5
|
Actualidad Jurídica
Aranzadi
|
4
|
4
|
Cuadernos de Derecho
Público
|
4
|
4
|
Revista Jurídica de
Catalunya
|
4
|
4
|
Persona y Derecho
|
4
|
4
|
Revista de Llengua i
Dret
|
4
|
4
|
PENAL Y PROCESAL
|
H INDEX
|
G INDEX
|
Revista Electrónica
de Ciencia Penal y Criminología
|
11
|
18
|
REIC. Revista
Española de Investigación Criminológica
|
8
|
10
|
Revista de Derecho
Penal
|
5
|
7
|
Revista Penal
|
5
|
7
|
La Ley Penal. Revista
de Derecho Penal, Procesal y Penitenciario
|
5
|
5
|
Anuario de Psicología
Jurídica
|
5
|
5
|
Actualidad Jurídica
Aranzadi
|
4
|
4
|
Revista del Poder
Judicial
|
4
|
4
|
ROMANO E HISTORIA DEL
DERECHO
|
H INDEX
|
G INDEX
|
Historia
Constitucional. Revista Electrónica de Historia Constitucional
|
5
|
6
|
Cuadernos de Historia
del Derecho
|
3
|
3
|
Estudis Històrics i
Documents dels Arxius de Protocols
|
2
|
3
|
Anuario de Historia
del Derecho Español
|
2
|
2
|
Iura vasconiae:
revista de derecho histórico y autonómico de Vasconia
|
2
|
2
|
Revista General de
Derecho Romano
|
2
|
2
|
TRABAJO
|
H INDEX
|
G INDEX
|
Revista del
Ministerio de Trabajo e Inmigración
|
11
|
14
|
Cuadernos de
Relaciones Laborales
|
9
|
13
|
Revista Internacional
del Trabajo
|
7
|
11
|
Lan Harremanak:
Revista de Relaciones Laborales
|
6
|
10
|
Temas Laborales.
Revista Andaluza de Trabajo y Bienestar Social
|
5
|
8
|
Revista Internacional
de Seguridad Social
|
5
|
7
|
Revista de Derecho
Social
|
5
|
6
|
Aranzadi Social
(Estudios Doctrinales)
|
5
|
5
|
Basándonos en los datos de este trabajo exploratorio realizado en julio de 2011, nuestras conclusiones de cara al uso de Google Scholar con fines evaluativos, en general, y de revistas españolas, en particular, son las siguientes:
- Es posible usar Google Scholar para identificar las revistas españolas nucleares de las distintas disciplinas que conforman las Ciencias Sociales. Dichos núcleos vienen a coincidir básicamente, con algunas notables excepciones, con los resultados ofrecidos por IN-RECS (sombreadas en verde en las tablas), producto que trabaja con menores volúmenes de datos (artículos y citas) y bajo un entorno estrictamente controlado (selección de revistas fuente, procesamiento manual e individualizado de las referencias…).
- En cambio, no ocurre lo mismo con los rankings generados en las distintas disciplinas de Ciencias Jurídicas. Para empezar, los valores de los h son de escasa entidad (el valor máximo es de 11) y, por ello, muy poco discriminatorios y mucho menos fiables. De hecho los resultados son poco reconocibles. Una posible explicación a esta escasa entidad de los valores obtenidos pueden encontrarse en la limitada circulación electrónica de las publicaciones de Ciencias Jurídicas, que se mueven en unos entornos por lo general muy controlados, y no siempre, dentro de la llamada web académica. A ello habría que añadir la escasez del uso de repositorios por parte de los investigadores en Ciencias Jurídicas, o del uso de webs académicas para colgar su producción, dos de las fuentes preferidas de Google Scholar para recuperar las publicaciones. Esto añade una nueva variable, las disciplinas que siguen teniendo una alta dependencia del formato papel para publicar van a aparecer peor reflejadas en Google Scholar que aquellas que hacen uso habitual de la publicación electrónica.
- En julio de 2011 era necesario, y creemos que también todavía hoy, emplear series temporales mayores a la de cinco años que ha adoptado Google Scholar Metrics. La opción de usar la década no es nada descabellado para las Ciencias Sociales y Humanidades, donde los procesos de citación son mucho más lentos que para las Ciencias Experimentales. Esto genera unos resultados ciertamente estables a lo largo del tiempo, aunque también posee una serie de limitaciones como que complica a las revistas más nuevas y a aquéllas con menor producción escalar puestos en dichos rankings. Tampoco capta bien el impacto a corto plazo, por lo que se puede concluir que el uso de marcos temporales más extensos conduce a visualizar la estructura profunda de una disciplina, mientras que el uso de periodos cronológicos más cortos permitiría visualizar la situación coyuntural (trabajos muy citados, temas emergentes). En cualquier caso, esta decisión es por motivos puramente prácticos; si no se hace así los valores del h serán excesivamente pequeños y, por tanto, poco discriminatorios. Recuérdese la nota anterior en que se comparaba el índice h a cinco años de Google Scholar Metrics con el calculado a diez años por EC3 y que mostraba a las claras el mayor poder discriminador de la ventana de citación más extensa.
- Conviene emplear además del índice h otro indicador que ayude a diferenciar los valores idénticos. Además del índice h, nuestro grupo optó por emplear el índice g, un indicador que permite captar de forma más precisa los trabajos altamente citados de los investigadores, y que se pierden cuando únicamente se usa el índice h como medida bibliométrica. El indicador usado por Scholar Metrics, la mediana de las citas recibidas por los artículos que contribuyen al índice h también es una medida adecuada para discriminar, si bien la diferencia esencial es que el índice g capta mejor los trabajos muy citados mientras que la mediana refleja mejor la citación promedio de una revista.
- En general se detecta un ligero sesgo favorable a aquellas revistas en formato electrónico y cuyos contenidos están en acceso abierto y gratuito. Seguramente, aunque esto sería una hipótesis sujeta a comprobación, la explicación se encuentre en la contabilización de las propias autocitas, que opera plenamente en este tipo de publicaciones así como en la cada vez menor disposición de los autores a usar materiales que no estén accesibles online. Ejemplos paradigmáticos de revistas electrónicas que muestran un comportamiento mejor a través de Google Scholar que el que muestran en IN-RECS son Biblio 3W. Revista Bibliográfica de Geografía y Ciencias Sociales, Athenea Digital. Revista de Pensamiento e Investigación Social, RED. Revista de Educación a Distancia (Murcia), Distribucion y Consumo, Revista CIDOB d’Afers Internacionals, PASOS. Revista de Turismo y Patrimonio Cultural, América Latina, Hoy. Revista de Ciencias Sociales o finalmente, la Revista Electrónica de Ciencia Penal y Criminología, o la Revista Electrónica de Estudios Internacionales, en Ciencias Jurídicas.
- Es factible y viable, haciendo uso de Google Scholar como fuente, y teniendo en cuenta las limitaciones señaladas, generar productos bibliométricos a menores costes que las herramientas de evaluación tradicionales, sin una merma significativa en su solvencia.
Entendemos que el gran problema o las grandes dudas que se ciernen sobre el empleo de Google Scholar como herramienta evaluativa en los niveles de revista e individuales tiene que ver más con la ética, el comportamiento y la sociología de la conducta humana que con los problemas de orden técnico (indicadores, normalización), que seguramente serán perfilados en el futuro. Si bien en entornos controlados también es posible trampear los resultados (una exploración en ISI o en IN-RECS por ejemplo detalla comportamientos muy anómalos en ciertas revistas encaminados sin duda a la mejora de su impacto), lo cierto es que dentro de Google Scholar cualquier persona puede inflar su índice h (o el de su revista) sin mayores problemas. En una próxima nota de EC3 se analizará más a fondo este problema. Mención aparte de despertar el narciso que habita en los científicos (Wouters y Costas, 2012), la presión por publicar avivada por los sistemas de evaluación del rendimiento científico adoptados en todos ámbitos y países puede exacerbar las malas artes y prácticas comunicativas de los científicos a fin de manipular la orientación y el sentido de los números. Y es que, a día de hoy no existen más controles o filtros para evitar el fraude en los datos que las reservas éticas y morales de los propios investigadores.
FINANCIACIÓN
Trabajo financiado con cargo al proyecto HAR2011-30383-C02-02 de la Dirección General de Investigación y Gestión del Plan Nacional de I+D+I. Ministerio de Economía y Competitividad.
REFERENCIAS
Aguillo, I. F. (2012). “Is Google Scholar useful for bibliometrics? A webometric analysis”. Scientometrics, 91(2), 343-351.
Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2012a). “Scholar Metrics: el impacto de las revistas según Google, ¿un divertimento o un producto científico aceptable?”. EC3 Working Papers, 1 http://ec3noticias.blogspot.com.es/2012/04/scholar-metrics-el-impacto-de-las.html
Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2012b). “Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son?”. EC3 Working Papers, 2 http://ec3noticias.blogspot.com.es/2012/04/las-revistas-espanolas-de-ciencias.html
Delgado López-Cózar, E. (2008). “La evaluación científica en Humanidades y Ciencias Sociales: herramientas e indicadores”. Pamplona: Universidad de Navarra.
Egghe, L. (2006). “Theory and practise of the g-index”. Scientometrics, 69(1), 131-152.
Harzing, A.-W., & van der Wal, R. (2008). “Google Scholar as a new source for citation analysis”. Ethics in Science and Environmental Politics, 8(1), 61-73.
Hirsch, J. (2005). “An index to quantify an individual’s scientific research output”. PNAS, 102(46), 16569-16572.
Torres-Salinas, D., Ruiz-Pérez, R. & Delgado-López-Cózar, E. (2009). "Google Scholar como herramienta para la evaluación científica". El profesional de la Información, 18(5), 501-510.
Wouters, P., & Costas, R. (2012). “Users , narcissism and control – tracking the impact of scholarly publications in the 21st century”. Utrecht: SURF Foundation.
ANEXO
Listado de las revistas españolas de Ciencias Sociales según su índice H
Listado de las revistas españolas de Ciencias Jurídicas según su índice H
