Qu'est-ce que la bibliométrie ?

« On entend généralement par bibliométrie, mais il vaudrait mieux dire évaluation bibliométrique, l’ensemble des procédures qui contribuent à l’évaluation de la production scientifique d’un chercheur (ou d’un ensemble de chercheurs) à partir du nombre de ses publications, du prestige des revues dans lesquelles elles sont été faites, et des citations auxquelles elles ont donné lieu.
En tout état de cause, la bibliométrie ne mesure pas la qualité d’un chercheur mais seulement ses citations, sans préjuger des raisons qui l’ont amené à être cité. » (Académie des Sciences)


« La bibliométrie, à travers l’exploitation statistique des données issues de publications scientifiques, élabore des indicateurs qui constituent des points de repères pour situer la production scientifique au niveau national et international » (Inserm)

L'évaluation de la recherche se fait sur trois niveaux :

  • Evaluation des sources / revues;
  • Evaluation des chercheurs;
  • Evaluation des institutions;

Sur cette page sont abordés les indicateurs utilisés pour les chercheurs et les institutions. Ces outils sont notamment employés pour les évaluations type HCERES et les classements. Pour l'évaluation des revues, merci de vous référer à la page Comment évaluer une revue?

Points de vigilance

Il est important de garder à l’esprit que les indicateurs ont tous des biais, et qu'un indicateur ne peut rien apporter de fiable s'il est utilisé seul.

Le nombre de citations des publications dépend fortement de la discipline, notamment de la taille de la communauté de chercheurs engagés dans celle-ci et qui sont en mesure de citer les travaux de leurs pairs.
Ce nombre dépend aussi des pratiques de la discipline, du délai que prend un article pour révéler sa visibilité, de sa période d’influence dans la communauté, de la reconnaissance de la discipline elle-même.
Enfin, le nombre de citations varie aussi en fonction du temps. Plus une publication est ancienne, plus elle a le temps d’être citée.

Certains indicateurs (notamment pondérés) prennent en compte les pratiques de la discipline et une durée suffisante (5 ans), d'autres non.

Signer ses publications

La principale difficulté pour toute analyse bibliométrique tient à la difficulté à repérer les publications d’une institution, toutes ses publications et seulement les siennes ! Les bases de données bibliographiques comme le Web of Science et Scopus indiquent pour chaque auteur leur(s) affiliation(s). Cette information est collectée auprès de l’éditeur et parfois remise en forme.
L’affiliation institutionnelle des productions est une question cruciale. Homogénéisée et correctement interprétée, elle est une garantie majeure de visibilité pour la recherche. Malheureusement, nous retrouvons régulièrement une multitude de variantes des noms de laboratoires et des tutelles dans les bases de données ce qui complexifie les analyses. Ceci a des répercussions sur les évaluations et les classements. Il donc primordial que les chercheurs et enseignants-chercheurs signent leurs publications de façon homogène au sein de l’Ecole.


Pour vous aider, l’Université Paris-Saclay propose un outil très simple, pour retrouver en un clic, la signature que vous devez utiliser pour vos publications conformément à la charte :

Graphiques

Indicateurs utilisés pour évaluer les auteurs, laboratoires et institutions

Il existe de nombreux indicateurs, trop nombreux pour tous être mentionnés ici. En voici quelques-uns que vous avez pu croiser.

Les indicateurs de production
  • Nombre de publications (différents types : articles, conférences, ouvrages...);
  • Nombre de brevets;
  • Nombre de distinctions reçues (prix Nobel,...);
  • Nombre de co-publications...

Ces indicateurs peuvent être croisés avec des périodes (nombre de publications sur 4 ans), des éditeurs ou revues (nombre de publications dans des revues de rang B), des langues, des zones géographiques, des institutions, ...

 

Les indicateurs d'impact / de visibilité

Ils mesurent l'impact des publications en prenant en compte le nombre de citations.

  • H-index : la méthode de calcul de Hirsch, son créateur, est la suivante : « Un scientifique a un indice h si h de [ses] Np articles ont chacun au moins h citations, et les autres (Np - h) articles ont au plus h citations chacun. » Point de vigilance : un h-index a de grandes chances, étant donné la méthode de calcul, de présenter un chiffre défavorable pour un jeune chercheur par rapport à un chercheur senior. De même que les pratiques sont différentes d’un domaine à l’autre, un h-index ne peut être comparé à un autre que dans le même domaine de recherche. Les auto-citations peuvent fausser le résultat, le h-index sans prendre en compte les citations propres est parfois proposé;
  • G-index : alternative au h-index mais peu utilisé, le g-index valorise davantage les citations dans le temps.
  • FWCI (Field-Weighted Citation Impact - SciVal / Elsevier) ou CNCI (Category Normalized Citation Impact - Web of Science / Thomson Reuters) : il s’agit d’un indicateur dit pondéré, qui prend en compte la discipline. Il compare le nombre de citations d’un article au nombre moyen de citations qu’on reçu les autres articles dans ce domaine sur la même période (moyenne correspondant à 1). Si un article a un FWCI ou CNCI de 1.22, alors celui-ci a été 22% plus cité que les autres.

On peut ainsi en ressortir les articles les plus cités d'une institution ou d'un laboratoire, ou ceux appartenant à un top (0.1%, 1%, 10%) dans un domaine donné.

 

Les altmetrics

Un peu en marge, les altmetrics mesurent l'impact d'une publication sur le web : réseaux sociaux, articles de presse, etc.

Source des indicateurs

Certaines bases de données sont les outils de référence à partir desquels sont produits les indicateurs.

Web of Science (Thomson Reuters)

Dans le WoS, les publications sont réparties, en fonction des journaux dans lesquels elles sont publiées, dans 22 grands domaines ou 251 catégories thématiques. L’analyse bibliométrique tient compte des spécificités des disciplines.

Scopus (Elsevier)

Scopus recense 24 600 revues dont les publications sont réparties en plus de 360 domaines.

Graphique
Logo CentraleSupelec

La bibliométrie à CentraleSupélec

Le pôle IST produit chaque année des rapports bibliométriques pour les laboratoires.

A ce jour, nous fournissons les indicateurs ci-dessous, ainsi qu'un tableau rassemblant les informations sur les revues dans lesquelles le laboratoire a publié, basé sur les données du WoS.

Nous restons à votre disposition pour toute question sur la bibliométrie ou personnalisation de ces rapports.

Indicateurs utilisés :

  • Nombre de publications, par type;
  • Nombre de revues;
  • Collaborations;
  • Nombre de citations, indication des high-cited papers

La bibliométrie ne sert pas uniquement à l'évaluation de la recherche. Le Pôle IST peut vous aider à :

  • utiliser le Web of Science (construire et sauvegarder des recherches, présenter et analyser les résultats d'une recherche; connaître son h-index...)
  • quantifier et qualifier les co-publications internationales;
  • identifier des thématiques émergentes;
  • définir une stratégie de publication

N'hésitez pas à contacter votre documentaliste référent.