Aller au contenu principal
Il y a présentement des items dans votre panier d'achat.
Vincent Larivière et Stefanie Haustein, Université de Montréal

La systématisation de l’utilisation de mesures issues des médias sociaux a mené à la création d’une nouvelle branche de l’infométrie nommée par certains "altmetrics", puisqu’elle fournirait une alternative aux mesures traditionnelles basées sur les citations.

[ARCHIVE : Cet entretien a été réalisé en février 2014, dans le cadre du la chronique de Les mesures de la recherche.]

Les médias sociaux et la mesure des tendances

Depuis quelques années, les médias numériques dits « sociaux » ont pris une importance croissante dans la mesure des tendances et opinions, tant sociales que politiques. En effet, les sondages traditionnels sont maintenant réalisés, voire remplacés, par des estimations de tendances sur Twitter ou Facebook révélant, par exemple, la visibilité en ligne d’un politicien (il est suivi par 10 000 abonnés!), ou encore, l’opinion de la « société » par rapport à une thématique ou une personnalité donnée (80 % des tweets concernant Denis Coderre sont…). Et bien que seulement 12,1 % des internautes québécois soient actifs sur Twitter (Cefrio, 2013), de telles analyses gagnent en popularité et en crédibilité.

Altmetrics, les mesures alternatives

L’impact des publications scientifiques est maintenant, lui aussi, mesuré via bon nombre de ces plateformes. Ainsi, pour chaque article scientifique publié par un grand éditeur (Elsevier, Springer, etc.) dans une revue utilisant le DOI (Digital Object Identifier) ou indexée dans PubMed, il est possible d’obtenir un décompte des tweets et des publications Facebook associées, de même que le dénombrement des utilisateurs sur Mendeley, un outil de gestion et de partage des bibliographies scientifiques utilisé par des étudiants et chercheurs universitaires. Certaines revues scientifiques, telle PLOS One, font d’ailleurs une vigoureuse promotion de ces mesures et les fournissent même sur la version HTML de chacun de leurs articles.

Pour chaque article scientifique publié par un grand éditeur, il est possible d’obtenir un décompte des tweets, des publications Facebook et des utilisateurs sur Mendeley.

La systématisation de l’utilisation de ces mesures a mené à la création d’une nouvelle branche de l’infométrie nommée par certains altmetrics, puisqu’elle fournirait une alternative aux mesures traditionnelles basées sur les citations. L’engouement actuel pour les médias sociaux aidant, ces nouvelles mesures sont de plus en plus considérées par certains acteurs de la communauté scientifique comme des indicateurs de l’impact social de la recherche. Mais de quel impact « social » parle-t-on au juste et quel rapport ces indicateurs entretiennent-ils avec l’impact « scientifique » des publications, mesuré depuis déjà de nombreuses années par le décompte des citations?

Fondés sur un échantillon de 1,4 million d’articles du domaine médical parus entre 2010 et 2012, les résultats de deux récentes études (Haustein et autres, 2013a, b) offrent un éclairage révélateur sur les articles scientifiques visibles sur Twitter et sur Mendeley.

Une bien faible relation…

Une première donnée fort éloquente concerne la couverture des articles dans chacune des plateformes. Alors que les deux tiers des 1,4 million d’articles étudiés ont au moins un lecteur sur Mendeley, moins de 10 % d’entre eux ont reçu une mention sur Twitter. C’est donc dire que la très vaste majorité des travaux du domaine médical sont complètement absents de la plateforme de microblogage. Toutefois, cette couverture augmente au cours de la période étudiée et atteint plus de 20 % pour les articles publiés en 2013.

Au-delà de la couverture des articles, la corrélation de Spearman – donc basée sur les rangs –  entre, d’une part, les citations reçues par les articles et, d’autre part, le nombre de lecteurs sur Mendeley et de mentions sur Twitter permet de constater que, dans l’ensemble, les médias sociaux numériques et les citations mesurent deux types d’impact bien distincts. Pour les articles publiés en 2011, la corrélation de Spearman entre le nombre de tweets (pour les articles ayant au moins reçu un tweet) et le nombre de citations demeure très faible (?= 0.157). Elle est revanche plus élevée (bien que relativement modérée à ?=0.456) entre le nombre de lecteurs Mendeley et de citations. Il existe donc une différence fondamentale entre l’acte de citer et l’acte de tweeter, mais une certaine similitude entre l’acte de citer et celui d’ajouter un article à sa bibliographie virtuelle.

Le tableau 1 présente les 10 articles de 2011 ayant obtenu le plus grand nombre de tweets, ainsi que leurs citations. Bien que certains de ces articles aient obtenu un nombre de citations relativement élevé (articles 2, 5 et 9), la plupart d’entre eux en ont bien peu reçu jusqu’à présent, ce qui dénote un faible impact scientifique.

Tentons maintenant de mieux comprendre les raisons derrière le nombre important de tweets reçus par certains de ces articles. Les deux articles les plus twittés sont liés à la catastrophe de Fukushima et l’ont principalement été par des utilisateurs japonais. Dans le cas des articles 3, 4 et 6, il s’agit plutôt de curiosités relativement humoristiques : l’article 3 discute des effets délétères de Google sur la mémoire; l’article 4 rapporte les résultats d’une réaction chimique qualifiée de « zombie » par les médias, puisqu’elle « ressuscite »  après avoir été à l’arrêt pendant des heures; et l’article 6 discute des effets du stress sur les fractures du pénis. Alors que l’article 5 présente les résultats d’une étude épidémiologique sur l’exercice et l’espérance de vie – et constitue effectivement un bon exemple d’article combinant à la fois des résultats scientifiques importants et un impact social certain –, les articles 7 et 10 portent sur des sujets d’intérêt pour l’ensemble de la communauté scientifique, mais ne sauraient être considérés comme des avancées scientifiques majeures.

Twitterez-vous cet article?

En somme, ces résultats montrent qu’il existe une faible relation entre les mentions sur Twitter et les citations, mais qu’une relation plus importante existe entre le nombre de lecteurs sur Mendeley et les citations. Cela n’est pas surprenant : alors que Twitter est utilisé par « tout le monde », Mendeley demeure un outil de gestion et de partage des bibliographies utilisé par des universitaires, principalement étudiants au doctorat et au postdoctorat. Aussi, la liste des articles les plus twittés témoigne d’une très grande hétérogénéité des raisons expliquant ce nombre de tweets élevé. Alors que certains sont effectivement twittés pour des raisons s’apparentant à un certain impact social, d’autres le sont davantage pour des raisons humoristiques.

Ainsi, avant d’appliquer de telles mesures à l’évaluation de l’impact social de la recherche, il est nécessaire de mieux comprendre la signification de l’acte de twitter, ses biais disciplinaires, les différentes audiences qu’il atteint et le niveau d’engagement des utilisateurs. Le simple fait de pouvoir maintenant produire une telle mesure ne la rend pas légitime pour autant…

Références :

  • Cefrio (2013). Les adultes québécois toujours très actifs sur les médias sociaux.
  • Haustein, S., Peters, I., Thelwall, M., Sugimoto, C.R., Larivière, V. (2014a). « Tweeting biomedicine: an analysis of tweets and citations in the biomedical literature », à paraître dans le Journal of the American Society for Information Science and Technology.
  • Haustein, S., Larivière, V., Thelwall, M., Amyot, D, Peters, I. (2014b). « Tweets vs. Mendeley readers: How do these two social media metrics differ? », à paraître dans IT – Information Technology

  • Vincent Larivière et Stefanie Haustein
    Université de Montréal

    Vincent Larivière est titulaire de la Chaire de recherche du Canada sur les transformations de la communication savante, professeur adjoint à l’École de bibliothéconomie et des sciences de l’information de l’Université de Montréal, membre régulier du CIRST et directeur scientifique adjoint de l’Observatoire des sciences et des technologies. Ses recherches portent sur les caractéristiques des systèmes de recherche québécois, canadien et mondial, et sur la transformation, dans le monde numérique, des modes de production et de diffusion des connaissances scientifiques et technologiques. Il est titulaire d’un baccalauréat en science, technologie et société (UQAM), d’une maîtrise en histoire (UQAM) et d’un doctorat en sciences de l’information (Université McGill).

    Stefanie Haustein est chercheuse postdoctorale à la Chaire de recherche du Canada sur les transformations de la communication savante de l’Université de Montréal et analyste de recherche pour la firme Science-Metrix. Ses travaux actuels portent sur l’utilisation des médias sociaux dans la diffusion des connaissances scientifiques et, plus spécifiquement, sur la signification des indicateurs – communément appelés altmetrics – basés sur de telles plateformes. Elle est titulaire d’une maîtrise en histoire, philologie américaine et sciences de l’information, et d’un doctorat en sciences de l’information de l’Université Heinrich Heine de Düsseldorf en Allemagne.

Vous aimez cet article?

Soutenez l’importance de la recherche en devenant membre de l’Acfas.

Devenir membre Logo de l'Acfas stylisé

Commentaires