l'éthique des publications

PUBLICATIONS Quels enjeux pour la communauté scientifique ?

Hervé Maisonneuve

Avertissement

•  La plupart des chercheurs sont honnêtes •  La plupart des chercheurs sont honnêtes

•  Les fraudes sont médiatisées mais très rares •  Les limites de l’intégrité scientifique sont

difficiles à percevoir

Publications RITME octobre 2013 2

Liens d’intérêts, H Maisonneuve •  Rédacteur de www.redactionmedicale.fr

•  Rédacteur adjoint de •  Consultant en rédaction et en formation professionnelle •  Membre commission HAS sur la qualité des revues

(2010-2013) •  Comité de rédaction de •  Auteur de ‘La rédaction médicale’, Doin, 2010 •  Rédacteur de ‘Science Editors’ Handbook’, EASE 2013


The top journals?

4 Publications RITME octobre 2013

Publications et éthique !

•  Vos questions ? •  Évaluation des chercheurs en fonction des

publications : qualité ou volume ? •  Les mauvaises pratiques : fréquence ?

Avez-vous des exemples ? •  Enjeux de la communication au public •  Impact des nouvelles technologies


Aveuglement organisationnel

•  On nous amuse – avec les liens d’intérêts à bien déclarer alors

que la plupart des chercheurs sont honnêtes, – avec les mauvaises pratiques qui

n’existeraient que dans l’industrie, et/ou quand il existerait des enjeux financiers

•  Pendant ce temps, le milieu académique n’est pas gêné par des comportements tout aussi condamnables



•  Les résultats ‘positifs’ sont publiés plusieurs fois quand les résultats ‘négatifs’ ne sont jamais publiés : distorsion de la science ?

•  La plupart des publications ne seraient pas reproductibles, étonnant, NON !

•  Environ 50 % des publications seraient ‘embellies’, étonnant, NON !



•  L’accès aux données sources est presque impossible

•  Les chercheurs sont évalués sur la quantité des citations avec un indicateur de notoriété des revues, et non sur la qualité des publications…

•  Open Access et APCs*: les chercheurs ne comprennent rien (green, gold, hybrid)

•  L’intégrité scientifique ne s’enseigne pas !

Publications RITME octobre 2013 9 APC: Ar.cle Processing Charge


•  Les intérêts des acteurs de ce système sont opposés à l’altruisme de la science

•  Les auteurs veulent publier, mais certains sont honoraires, fantômes,….

•  Les rédacteurs sont autoritaires •  Les reviewers sont dans l’ombre •  Les propriétaires des revues sont rois •  Les lecteurs n’ont rien à dire


Un exemple du 4 octobre 2013


Science, October 4, 2013


www.retracHonwatch.org


Methods

•  The paper took this form: Molecule X from lichen species Y inhibits the growth of cancer cell Z. To substitute for those variables, I created a database of molecules, lichens, and cancer cell lines and wrote a computer program to generate hundreds of unique papers. Other than those differences, the scientific content of each paper is identical.

•  Author: Ocorrafoo Cobange, Wassee Institute of Medicine, Asmara


Results •  The final list of targets came to 304 open-access

publishers: 167 from the DOAJ, 121 from Beall’s list, and 16 that were listed by both.

•  By the time Science went to press, 157 of the journals had accepted the paper and 98 had rejected it. Of the remaining 49 journals, 29 seem to be derelict: websites abandoned by their creators. Editors from the other 20 had e-mailed the fictitious corresponding authors stating that the paper was still under review…


Des arHcles ont été publiés


Qu’en conclure ?

•  ‘Science’ a été très critiqué : – L’article de Bohannon n’a pas été reviewé – Les méthodes sont mauvaises : pas de

comparaison, mauvaises données,… •  La communauté serait innocente !

– Est-ce un problème d’open access ? – Est-ce que le peer-review ne sert à rien ? – Comment travaillent les revues scientifiques ? – Peut-on améliorer le système ?


Votre expérience ? D’accord ou pas d’accord ?

Commentaires ?


Des exemples

1.  Intérêts des acteurs 2.  L’embellissement 3.  La (non) reproductibilité des publications 4.  Les ‘hot papers’ 5.  Open Access et APCs 6.  Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8.  Tromper le public : Wakefield et ROR


Des exemples

1. Intérêts des acteurs 2.  L’embellissement 3.  La (non) reproductibilité des publications 4.  Les ‘hot papers’ 5.  Open Access et APCs 6.  Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8.  Tromper le public : Wakefield et ROR


Ma vision des intérêts des acteurs

Auteurs Reviewers Rédacteurs

Propriétaires

Lecteurs


Auteurs: honoraires, fantômes, etc..


Auteurs: publish or perish


Est-‐ce que le peer-‐review est uHle ?


Rédacteurs


Maisons d’édiHons, sociétés savantes


Lecteurs


Des exemples

1.  Intérêts des acteurs

2. L’embellissement 3.  La (non) reproductibilité des publications 4.  Les ‘hot papers’ 5.  Open Access et APCs 6.  Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8.  Tromper le public : Wakefield et ROR


Embellissement des données*

29

* Seror, Ravaud. Presse Médicale, septembre 2012

Publications RITME octobre 2013

Annals of surgery 2013 janvier, 1-6

•  327 essais randomisés •  152 enregistrés avec protocole •  75 / 152 (49 %) « showed some

evidence of discrepancies between outcomes registered and the outcomes published, most often related to omitting or introducing a primary outcome »


Critère principal torturé


Des exemples

1.  Intérêts des acteurs 2.  L’embellissement 3. La (non) reproductibilité des

publications 4.  Les ‘hot papers’ 5.  Open Access et APCs 6.  Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8.  Tromper le public : Wakefield et ROR


Nature reviews. Drug dicovery. 2011


Difficulté de répliquer les recherches •  AMGEN : haematology and oncology

departments, Californie •  53 articles qualifiés de ‘landmark studies’ : 21

dans des revues de facteur d’impact > 20, et 32 dans des revues de facteur d’impact entre 5 et 19

•  6 (11 %) ont été reproduits •  Limitations car certains articles décrivaient

des données préliminaires… mais 11 % est choquant


Bayer : 67 projets, 20/25 % de données concordantes


Nature, 29 mars 2012:531-533


Nature Medicine, October 2012;18:1443


PLOS ONE, 15 mai 2013

•  Méthodologiquement, taux de réponse faible •  sur 171 chercheurs américains d’un centre

anticancéreux du Texas, environ la moitié ont évoqué des difficultés pour reproduire des résultats


Données sources


Des registres de données sources existent, comme Dryad

par exemple

Des exemples

1.  Intérêts des acteurs 2.  L’embellissement 3.  La (non) reproductibilité des publications

4. Les ‘hot papers’ 5.  Open Access et APCs 6.  Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8.  Tromper le public : Wakefield et ROR


NEJM August 2010: ‘hot paper’

http://www.nejm.org/doi/pdf/10.1056/NEJMoa0912611


Washington post: étude ouverte, 33 patients par groupe !

•  CAVEATS Data were based on the participants' ratings of their pain and their answers to questionnaires.

•  The number of participants was small, and the study did not assess long-term effectiveness.

•  The results may have been influenced by participants' beliefs and expectations, although the researchers said they tried to de-emphasize tai chi by telling participants that the study would test the effects of two types of exercise programs, one combined with education.


h<p://www.washingtonpost.com/wp-‐dyn/content/ar.cle/2010/09/03/AR2010090305147.html

Des exemples

1.  Intérêts des acteurs 2.  L’embellissement 3.  La (non) reproductibilité des publications 4.  Les ‘hot papers’

5. Open Access et APCs 6.  Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8.  Tromper le public : Wakefield et ROR


Gold? Green? Hybrid?

Opaque?


Open access : nouveau modèle économique avec les APCs*

Publications RITME octobre 2013 45 * Ar.cle Processing Charge

De nouvelles dérives ?

Le meilleur Le pire Les truands

PLOS ONE 2012 : 23 000 articles


PLoS ONE publie 70 % des articles soumis

Too often a journal’s decision to publish a paper is dominated by what the Editors think is interesting and will gain greater readership — both of which are subjective judgments and lead to decisions which are frustrating and delay the publication of your work. PLoS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound. Judgments about the importance of any particular paper are then made after publication by the readership (who are the most qualified to determine what is of interest to them).


Les prédateurs

•  Un business sans concessions

•  L’ére de l’électronique permet de créer des revues en peu de temps

•  http://scholarlyoa.com/publishers/


Des exemples

1.  Intérêts des acteurs 2.  L’embellissement 3.  La (non) reproductibilité des publications 4.  Les ‘hot papers’ 5.  Open Access et APCs

6. Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8.  Tromper le public : Wakefield et ROR


Plagiat, auto-plagiat


Les mauvaises pratiques •  De l’erreur à la fraude : volontaire /

involontaire •  Historiquement classement en ‘FFP’ pour

falsification, fabrication et plagiat… mais insuffisant

•  Les rétractations (et/ou expressions de réserves) des articles ne sont pas la bonne solution

•  Les rétractations sont très rares : 0,02 % des articles dans PubMed, dont la moitié pour erreurs


Mauvaises pratiques •  « Research misconduct » est défini comme le comportement,

intentionnel ou non, d'un chercheur qui ne respecte pas toutes les bonnes pratiques éthiques et scientifiques. Les mauvaises conduites scientifiques comprennent la fabrication, la falsification, la suppression, ou la manipulation inappropriée de données ; la manipulation inappropriée d'images ; le plagiat ; les reportages trompeurs ; les publications redondantes ; les mauvaises pratiques des auteurs comme les fantômes et les invités ; l'oubli de citer les sources de financement ou les liens d'intérêts ; mauvaise présentation du rôle du financeur ; et la recherche non éthique (par exemple, non obtention du consentement des patients)

•  Les mauvaises pratiques gaspillent des ressources, mettent en péril la crédibilité de la science, et peuvent engendrer des risques (par exemple pour les patients et le public)

•  A consensus statement on research misconduct in the UK. BMJ 2012;344:e1111 Publications RITME octobre 2013 53

De Darsee à Boldt (et Fujii) •  John Darsee : 82

articles rétractés •  Années 80s •  Emory University puis

Harvard •  Cardio puis

réanimation •  A continué à exercer •  A expliqué la naïveté

des co-auteurs

•  Joachim Boldt : 88 articles rétractés 2011/2012

•  Heidelberg, Allemagne •  Anesthésie

réanimation puis STOP

•  Action de 16 rédacteurs de revues

•  Investigations en cours

•  Prison ?


Fraude en anesthésie: environ 300 rétractaHons pour S Reuben, J Boldt, Y Fujii


Des exemples

1.  Intérêts des acteurs 2.  L’embellissement 3.  La (non) reproductibilité des publications 4.  Les ‘hot papers’ 5.  Open Access et APCs 6.  Les mauvaises pratiques 7. DORA pour abandonner le

facteur d’impact 8.  Tromper le public : Wakefield et ROR


Facteur d’impact Impact factor : un indicateur créé dans les années 60 pour évaluer la notoriété des revues, afin d’orienter les publicités : ISI, Institute for Scientific Information (Philadelphie, USA) acheté par Thomson Reuters ; une base de données de 8000 revues scientifiques, surtout américaines


Nombre de citaHons en 2010 des arHcles citables en 2008 et 2009 Nombre d’arHcles citables en 2008 et en 2009

Tout dépend de ce qui est pris en compte dans les arHcles « citables » ; de très nombreuses ‘manipulaHons’ de la part

des revues

17 janvier 2011

Recommandation n° 2 : La bibliométrie ne peut pas se résumer à des nombres, mais doit être accompagnée d’un examen approfondi des données bibliométriques et bibliographiques, et si possible des articles eux-mêmes Recommandation n° 3 : Les indices bibliométriques ne peuvent pas être utilisés de la même façon selon l’objet de l’évaluation : recrutements, promotions, contrats, distinctions, etc.


Facteur d’impact •  JAMA, 4 janvier 2006


Metrics ?


Metrics?


78 organisations signataires


Des exemples

1.  Intérêts des acteurs 2.  L’embellissement 3.  La (non) reproductibilité des publications 4.  Les ‘hot papers’ 5.  Open Access et APCs 6.  Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8. Tromper le public : Wakefield

et ROR


Exemple : Wakefield

•  1998, The Lancet •  12 cas d’enfants autistes ayant été

vaccinés par le ROR (MMR) •  Les médias s’en emparent… et les

politiques •  La vaccination diminue en Angleterre, à

Londres •  Un mort de rougeole à Dublin… plus tard Maisonneuve H et al. Affaire Wakefield.. Presse Médicale 2012; septembre http://dx.doi.org/10.1016/j.lpm.2012.03.022


Les doutes et démentis

•  Devant les doutes, lettres en 2004 dans le Lancet après enquête dans l’hôpital

•  Brian Deer, journaliste d’investigation continue d’alerter

•  2010 : rétractation de l’article du Lancet suite à une investigation du General Medical Council

•  2011 : 3 articles du BMJ racontent l’histoire


12 ans pour ce tableau


Wakefield, Lancet 1998


L’histoire reconstituée à posteriori •  De 1996 à 1998, Wakefield a reçu 500 000

£ pour conduire des recherches sur ce sujet •  L’argent venait d’un cabinet d’avocats, en

fait d’une association « Anti-vaccins » •  Wakefield n’était pas pédiatre, mais

chirurgien digestif •  Il a été démis de son titre de médecin •  En 2013, il donne des conférences aux USA

pour des lobbies anti-vaccins (Austin, Texas)


Les conséquences ? •  Des études ont été publiées après 1998 : 7

études de cohortes, 9 études cas-témoin, et 4 études à partir de registres ou rétrospectives.

•  Aucun lien dans ces études •  Combien ont coûté ces travaux : coûts

directs, coûts indirects et coûts cachés ? •  Agences du médicament, industries

pharmaceutiques, centres de pharmacovigilance ont été alertées 10 ans


PLOS ONE, 31 janvier 2011

•  Plusieurs travaux de l’équipe de Bordeaux sur les messages trompeurs transmis par les médias à partir d’articles

•  Domaine Hyperactivité de l’enfant


Conclusion !

1.  Intérêts des acteurs 2.  L’embellissement 3.  La (non) reproductibilité des publications 4.  Les ‘hot papers’ 5.  Open Access et APCs 6.  Les mauvaises pratiques 7.  DORA pour abandonner le facteur d’impact 8.  Tromper le public : Wakefield et ROR


Questions ?


l'éthique des publications

Health & Medicine