métriques alternatives, enjeux et essai de...

Métriques alternatives, enjeux et essai de définition

Annaïg Mahé Maître de conférences en sciences de l’information et de la communication

Urfist de Paris / Ecole nationale des chartes, Dicen-IDF EA7339

Au-delà du facteur d’impact, quelles alternatives aux métriques traditionnelles ?,

SCD Université de Pau et des Pays de l’Adour Urfist de Bordeaux,

22 mars 2016

Des métriques traditionnelles aux métriques alternatives Comment ça marche ? Acteurs et outils Une légitimité en construction

« Altmetrics » : des métriques « traditionnelles » aux métriques alternatives

« Traditionnelles » : mesures / indicateurs basés sur le nombre de citations pour une revue donnée / un article

Carl Boettiger

« Altmetrics » : des métriques « traditionnelles » aux métriques alternatives

« Traditionnelles » : mesures / indicateurs basés sur le nombre de citations pour une revue donnée / un article

Quid des nouvelles formes de production scientifique ?

NOUVELLES FORMES DE PRODUCTION SCIENTIFIQUE

Codes, logiciels

Variété de nouveaux types de supports

« Altmetrics » : des métriques « traditionnelles » aux métriques alternatives

Des mesures / indicateurs basés sur le nombre de citations pour une revue donnée

Quid des nouvelles formes de production scientifique ?

Quid des nouveaux canaux de diffusion et de valorisation ?

+ ÉVOLUTIONS DE LA SCIENCE

- de l’impact scientifique à l’impact sociétal - ouverture à des légitimités extérieures

2010 : un « manifeste » pour les métriques alternatives « Personne ne peut tout lire »

Intérêt mais limites du « peer-reviewing » (lent, ne permet plus le filtrage du volume publié)

Décompte des citations utiles mais insuffisant (non prise en compte de l’impact large)

Facteur d’impact # évaluation de l’article

Les altmetrics : les filtres de demain Production scientifique :

+ large : articles, + data + code, etc. granularité plus fine des unités de citation auto-publication (blogs, commentaires,

annotations)

Une feuille de route Expérimentations et recherche Développement d’applications, de méthodes et

de métriques Développement de l’analyse sémantique du

contexte de la citation « comment et pourquoi » et pas seulement

« combien »

Comment ça marche ?

Trouver et agréger les traces d’usage

Identifiants • PMID • arXiv ID • Digital object identifier (DOI) • URL • etc.

Métriques collectées • Vues • Mentions • Citations • Partages • Recommandations • Téléchargements • Sauvegardes • Commentaires • Notes • Classements • Etc.

Types de sources Exemples de sources

Catalogues et bases de données

commerciales ou à but non lucratif

Amazon, Goodreads, Worldcat, Scopus, Web of

Science, Ebsco, PubMed, CrossRef, DataCite, PLoS,

Copernicus

Réseaux sociaux et moteurs académiques Facebook, Twitter, Google+, LinkedIn, Google

Scholar, Microsoft Academic Search, F1000Prime

Réseaux de signets CiteULike, Delicious, Reddit, Pinterest, Instagram

outils de gestion des références

bibliographiques

Mendeley, Zotero

dépôts de données (et autres types de

documents)

Dryad, Figshare

sites de dépôts de logiciels Github, SourceForge, StackOverflow

archives ouvertes dSpace, ePrints, ArXiv, RePec, SSRN, PubMed

Central, PubMed Central Europe

sites de vidéos et de présentations Youtube, Vimeo, Slideshare

bases de brevets UPSTO

Blogs ResearchBlogging, ScienceSeeker, GoogleBlogs,

Nature Blogs, WordPress.com, OpenEdition

Autres Wikipedia, Bit.ly

Sources des données

Source : Mahé, Prime-Claverie, 2015

Public Library of Science (PLoS)

Altmetric.com

Plum Analytics

ImpactStory

Acteurs et outils

Public Library of Science – PLoS Article Level Metrics - ALM

Altmetric.com - ses beignets (donuts) - son bookmarklet (gratuit) - son API

Altmetric score =

somme pondérée de la

quantité d’attention

reçue par un article

Plum Analytics – PlumX Les chercheurs ne comptent pas pour des prunes…

ImpactStory : profil de chercheur « votre CV en mieux »

Une légitimité en construction

Différents usages pour différents acteurs Différences entre plateformes : sources, valeurs, objectifs, etc. Sources récentes, évolutives Variété des aires linguistiques et disciplinaires

+ sources anglophones, STM pratiques de citations, usages des médias sociaux

Impact = attention # qualité Impact académique / grand public

Evolution vers des métriques ouvertes ?

The Metric Tide (HEFCE): pour des « métriques responsables » Robustesse Humilité Transparence Diversité Réflexivité

Google Trends pour « bibliometrics » (bleu) vs « altmetrics » (rouge) Research Trends, 2014