Questo è l'articolo, che recita Worth? Un'analisi critica della Peer Review

Dr. John O'Keefe, Editor-in Capo del ufficiale
Canadian Dental Association è del parere che "Il processo di revisione tra pari è la pietra angolare della JCDA. Essa garantisce che il materiale presentato nella pubblicazione soddisfa determinati criteri di qualità, precisione e rilevanza per la pratica. " ^{1 Dr. Richard Smith, ex direttore del British Medical Journal
e per 13 anni il direttore esecutivo della Medical Journal Publishing Group britannico, è fermamente convinto che peer review, "è un processo imperfetto, pieno di difetti facilmente identificato con poche prove che funziona." 2}

Entrambi questi diametralmente viste opposte non possono essere corretti. Lo scopo di questo articolo è quello di determinare quale è più vicina alla realtà.
Breve storia

Lo sviluppo di peer review è avvolta nella storia. Nel 1731, il direttore di Saggi medici e osservazioni
(pubblicati dalla Royal Society di Edimburgo) trasmesso presentata articoli opinione a coloro che considerava "il più esperto in queste cose." ^{3 Mentre il Reale Università di Edimburgo potrebbe essere stato il primo corpo autorevole di riconoscere il valore potenziale di revisione tra pari, lo ha fatto con il disclaimer significativo che Peer Review non garantire accuratezza o veridicità o addirittura che si accettano carte erano meglio di quelli recensiti non-peer. < sup> 3}

peer review Editoriale su maniera disorganizzata casuale è diventato più comune nella metà del 19 ° secolo, con la pubblicazione di un numero sempre crescente di riviste biomediche. Non è stato fino a quando il mondo sempre più specializzata del 20 ° secolo, con le sue richieste di autorità competente, che peer review è diventato più frequentemente accettato e atteso come un "timbro di approvazione." ^{3 Per giorni, peer review è diventata istituzionalizzata ed è utilizzato dalla maggior parte dei giornali biomedici. 3}

Dr. Robbie Fox, direttore del The Lancet
1944-1964 non era ammiratore di peer review. Egli ha ritenuto essere un processo senza importanza. ^{2, infatti, il Lancet
non ha inizio peer review fino al 1976, molto tempo dopo che aveva guadagnato una reputazione mondiale giustificata come un giornale medico preminente. 2 Questa domanda se c'è qualche relazione diretta tra la reputazione di una rivista e la sua pratica di revisione tra pari. In realtà, il dottor Fox spesso si chiedeva se si sarebbe verificato se danni derivanti da eventuali documenti respinti sostituiti quelli che erano stati accettati. 2}

Così, dalla sua prima recensione giorni pari generato domande circa la sua utilità.
Definizione

Qual è peer review editoriale? Si tratta di un processo in cui gli editori inviare articoli presentati per la valutazione alle persone giudicate competenti in materia in modo che solo i migliori lavori sono pubblicati. Una descrizione più completa è quella peer review seleziona articoli per la pubblicazione e respinge quelli che sono considerati irrilevanti, banale, debole, fuorviante o potenzialmente dannosi, mentre allo stesso tempo migliorare la chiarezza, la trasparenza, la precisione e l'utilità delle osservazioni. ^{4 percezione comune di revisione rivista peer è che migliora o migliora la qualità di un documento e assiste l'editor ad accettare per la pubblicazione. 5 Se peer review soddisfatto nessuna di queste descrizioni sarebbe agire come filtro di controllo della qualità, individuando solo i migliori lavori che erano degni di pubblicazione. Infatti, molti individui informati accettano facilmente peer review come garante di qualità, 6 a fornire un valore aggiunto per un publication2 e anche come una forma di "buona tenuta Housekeeping di approvazione." 7}

Dr. Richard Smith rifiuta categoricamente queste credenze come egli è del parere che sia impossibile definire peer review in termini operativi. ^{2 Le sue ragioni sono che le parole, "esperti", "pari", "revisione", e "qualità "sono impantanati in vaghezza. Come l'ex direttore del British Medical Journal
, mette in dubbio se un peer è qualcuno che fa la stessa ricerca e quindi un potenziale concorrente, o semplicemente qualcuno nella stessa disciplina che potrebbe essere meno informati di quanto l'autore del articolo. Egli teme che una revisione potrebbe comportare solo una lettura casuale di un documento al contrario di un'analisi approfondita che controlla tutti i dati e riferimenti ed offre miglioramenti costruttivi. Si preoccupa che semplicemente non c'è definizione concordata su ciò che costituisce un bene o qualità della carta. 2}

Dr. la frustrazione di Smith è comprensibile, dal momento che non vi è alcun organo di governo che definisce ciò che è buono o revisione tra pari, che esige che alcune norme da seguire. ^{7 Questo implica che gli editori di riviste hanno una notevole latitudine di ciò in cui credono costituisce peer review. Senza standard accettati e approvati, i lettori e gli autori sono sottoposti a peer review che riflette le manie molto umani, pregiudizi e pregiudizi di editori e dei loro utenti.
significativa riguarda}

Nel 1985, la serratura e Bailar avevano condotto approfondite indagini nel processo di peer review editoriale e ha scoperto che gran parte della sua metodologia è stata viziata e aveva un disperato bisogno di migliorare. ^8,9

Si tratta di trovare sono stati sostenuti nel 1986 dal Dr. Drummond Rennie, poi senior Contributing Editor del ufficiale
American Medical Association, che si chiedeva perché, se peer review è stato un filtro di controllo di qualità, la maggior parte dei documenti non per quanto banale, oscuri, contraddittori o frammentato finalmente superato la revisione esame e sono stati pubblicati. ^{5 Dr. Rennie compose le sue preoccupazioni nella seguente serie di domande.}

Ci sono generalmente accettati come criteri su ciò che costituisce un documento? C'è un elenco specifico di criteri applicati ai documenti per tutti gli editor-o anche qualcuno nel decidere se accettare o rifiutare o inviare per la revisione? In quest'ultimo caso, come vengono utenti selezionati e quanti dovrebbero esserci? Dal momento che è necessaria esperienza, quale grado di conflitto di interesse ci si aspetta o permessi? Quali istruzioni sono date revisori? Come vengono valutate le loro opinioni? Dovrebbero essere recensioni in doppio cieco? Come fanno gli editori conciliare disaccordo tra revisori, e tra i revisori e gli autori? Quanto costa questo tutti i costi in editoriali, ore di segreteria, e rivedere così come in spese di spedizione? Quanto al processo di ricerca prevenire fraudolenti? Ha incoraggiare plagio e si rompe in riservatezza? Saremmo non tutti meglio con nessuna opinione? ^{5 Dr. Rennie è andato fino a suggerire che l'unico vero processo di revisione era quello di avere ampie sezioni corrispondenza dove gli autori ei loro critici potrebbe discutere in pubblico. 5}

Dr. Rennie ha sfidato i ricercatori a trovare risposte alle sue preoccupazioni e di presentare i loro risultati nella primavera del 1989 ad un Congresso Internazionale su "Peer Review in Biomedical Publications" promosso dalla American Medical Association. ^{5 Ha accompagnato l'invito da parte del commento perspicace che "la ricerca possono trovare saremmo meglio di rottami peer review del tutto." 5 il primo Congresso Internazionale nel 1989 è stato seguito da altri cinque con l'ultima che si terrà a Vancouver nel 2009.}

I ricercatori hanno accettato sfida iniziale del Dr. Rennie. Tuttavia, circa dieci anni dopo, alcune delle sue preoccupazioni erano stati affrontati. Ad esempio, un articolo di 1997 nella British Medical Journal
ha concluso che, "Il problema con peer review è che abbiamo una buona prova sulle sue carenze e scarsa evidenza sui suoi benefici. Sappiamo che è costoso, lento, incline al pregiudizio, ad abusi, possibili anti-innovativo, e in grado di rilevare le frodi. Sappiamo anche che i documenti pubblicati che emergono dal processo sono spesso gravemente carenti. " ¹⁰

Nel 2001 in occasione della quarta Congresso Internazionale, Jefferson e colleghi hanno presentato i loro risultati di una vasta analisi sistematica di revisione tra pari metodologia. I risultati li convinse che peer review editoriale era una pratica testata i cui benefici sono stati incerti. ^{11 Dr. Rennie lasciato il Quarto Congresso con le sue preoccupazioni originali intatti come dimostra la sua opinione che, "Infatti, se l'intero sistema di peer review ha fatto non esiste ma sono stati ora essere proposto come una nuova invenzione, che sarebbe stato difficile convincere gli editori a guardare le prove per passare attraverso la fatica e la spesa ". 12
Evidence}

ci sono elementi di prova per la preoccupazioni espresse da Lock, Bailar, Rennie e Jefferson. Recenti documenti di Wager, Smith e Benos forniscono numerosi esempi di studi che dimostrano difetti metodologici a peer review, che, a sua volta, gettato sospetti sul valore di articoli approvati dal processo. ^{13,2,3 Alcuni dei probatorio saranno descritti studi.
Errori}

​​In un'indagine del 1998, 200 revisori non sono riusciti a rilevare il 75% degli errori che sono stati volutamente inseriti in un articolo di ricerca. ^{14 Nello stesso anno, i revisori non sono riusciti a identificare il 66% dei principali errori introdotto in un manoscritto falso. 15 un documento che alla fine ha portato il suo autore stato assegnato il premio Nobel è stata respinta in quanto il revisore ritiene che le particelle sul vetrino microscopico erano depositi di sporco, piuttosto che la prova del virus dell'epatite B. < sup> 16
coerenza e obiettività}

C'è la convinzione che peer review è un obiettivo, processo affidabile e coerente. Uno studio condotto da domande Peters e Ceci quel mito. Essi reinviati 12 articoli pubblicati da prestigiose istituzioni alle stesse riviste che li avevano accettato 18-32 mesi prima. Le uniche modifiche sono state negli autori nomi e affiliazioni originale. Uno è stato accettato (di nuovo) per la pubblicazione. Otto non sono stati respinti perché erano poco originale, ma a causa di carenze metodologiche, e solo tre sono stati identificati come i duplicati. ^{17 Smith illustra l'incongruenza tra i revisori da questo esempio dei loro commenti sulla stessa carta.}

Un membro di "Ho trovato questo documento un documento estremamente confusa con un gran numero di difetti."

esperto B "E 'scritto in uno stile chiaro e sarebbe compreso da qualsiasi lettore." ²

In assenza di norme che sono uniformemente accettato e implementato peer review è un processo soggettivo e incoerente.
frode

La peer review non è riuscito a individuare che il biologo cellulare Wook Suk Hwang aveva fatto affermazioni false per quanto riguarda la sua creazione di 11 linee di cellule staminali embrionali umane. ^{3 revisori in tali riviste di alto profilo, come la scienza e la natura non ha identificare le molte anomalie lordi e risultati fraudolenti che Jan Hendrick Schon fatto in numerosi documenti, mentre in qualità di ricercatore presso Bell Laboratories. 3 L'Ufficio degli Stati Uniti di Research Integrity ha fornito le informazioni sulla fabbricazione dei dati e la falsificazione che è apparso in oltre 30 peer reviewed lavori pubblicati da tali riviste rispettato come sangue, la natura e gli Atti della National Academy of Science. 18 In effetti, un revisore dei Proceedings of the National Academy of Science è stato trovato per avere abusato della sua posizione sostenendo falsamente di essere al lavoro su uno studio che gli è stato chiesto di rivedere. 19}

peer review Editoriale può ritenere un documento degno di pubblicazione secondo criteri autoimposti. Il processo, tuttavia, non può garantire che la carta è veritiera e priva di frode. ^3
qualità

I sostenitori del peer review promuovere la qualità migliorando poteri. Definire e identificare la qualità non sono semplici compiti. Jefferson e colleghi hanno analizzato una serie di indagini che ha tentato di valutare la qualità del peer reviewed articoli. ^{4 hanno trovato alcun consistenze nei criteri che sono stati utilizzati, e una molteplicità di sistemi di rating maggior parte dei quali non sono stati convalidati ed erano di bassa affidabilità. Hanno suggerito che i criteri di qualità comprendono, l'importanza, la pertinenza, l'utilità, e la solidità metodologica ed etica della presentazione insieme con la chiarezza, accuratezza e la completezza del testo. 4 Tra questi indicatori che potrebbero essere utilizzati per determinare in quale misura ciascun criterio era stato ottenuto. Le idee promosse da Jefferson ed altri non sono stati codificati in norme contro la quale qualsiasi revisione tra pari può essere valutata. Fino a quando questo accade, editori e revisori hanno la completa libertà di definire la qualità secondo i loro capricci individuali o collettivi. Questo supporta la tesi di Smith che non c'è è concordato definizione di un bene o di qualità della carta. 2}

In considerazione di quanto sopra esposto, peer review non è il segno distintivo di qualità ad eccezione, forse, nelle credenze di i suoi praticanti.
Precisione

Si potrebbe supporre che il peer reviewed sono stati errori e statisticamente valida. Nel 1999, uno studio condotto da Pitkin di importanti riviste mediche ha trovato un tasso di 18-68% di incongruenze tra i dettagli in estratti rispetto a quello che sembrava nel testo principale. ^{20 Un'indagine di 64 riviste peer review ha dimostrato una percentuale media di inesatte riferimenti di 36% (range 4-67%). 21 la percentuale mediana di errori così gravi che il recupero di riferimento era impossibile è stata dell'8% (range 0-38%). 21 lo stesso studio ha dimostrato che la mediana percentuale di citazioni inesatte è stata del 20%. studi randomizzati controllati sono considerati il ​​"gold standard" di assistenza basata sulle evidenze. Uno studio significativo della qualità di tali prove appaiono nelle riviste peer review è stata completata nel 1998. I risultati hanno mostrato che 60-89% delle pubblicazioni non include i dettagli sulla dimensione del campione, intervalli di confidenza, e mancavano dettagli sufficienti sulla ripartizione randomizzazione e trattamento . 22}

non si deve presumere che peer review garantisce la precisione.
revisori

​​Il ruolo del revisore è complessa. Essi sono tenuti a valutare i meriti scientifici o tecnici di un documento, determinare la sua novità, prendere in considerazione la sua chiarezza espositiva, di verificare la pertinenza di illustrazioni, tabelle e riferimenti, identificare difetti, suggerire miglioramenti e offrono una decisione riguardante l'accettazione o il rifiuto, di solito in modo tempestivo e senza alcun compenso monetario. ^{4 Poiché revisori sono fondamentali per il successo del processo di peer review dovrebbero essere scelti con cura e deliberazione. Nel 2007 uno studio di 306 revisori esperti ha confermato che, "non ci sono facilmente identificabili tipi di formazione formale o esperienza che prevedono prestazioni revisore. Abilità in esame scientifico tra pari può essere come mal definito e difficile da impartire come è il senso comune. " 23 Attualmente non esiste una buon metodo di valutazione delle prestazioni recensore e nessun sistema uniforme accettabile per la loro scelta. 24 Sembra che molti recensori sono selezionati perché un editore li ritiene di essere "esperti 'e che sono disponibili. 3}

alcuni recensori saranno informati e approfondita, alcuni saranno di parte e hanno conflitti di interesse, mentre altri si rifiuta di prendere in considerazione gli argomenti non convenzionali o controverse. Purtroppo, tali caratteristiche non sono messi a disposizione di autori e lettori.
Concorso

riviste commerciali competere per gli stessi lettori come su riviste. Hanno elevati rapporti di pubblicità-to-text, di solito sono liberi, non sono affiliati con le associazioni professionali, hanno raramente peer review articoli e sono quasi mai citata nella letteratura medica /dentale. ^{25 Tuttavia, uno studio condotto da Rochon e colleghi hanno dimostrato che rispetto ai peer review riviste, articoli in fini di lucro pubblicazioni commerciali sono stati considerati dai medici per essere più facile da leggere e da capire, per affrontare le questioni più importanti, e per fornire ulteriori informazioni rilevanti per la pratica clinica. 25 | scopo}

Nel suo articolo controverso, "Peer Review un processo viziato alla base della scienza e riviste" dottor Smith pone la domanda critica, "Che cosa è peer review per?" ²

I revisori potrebbe considerarlo come un booster ego e per il potenziamento di carriere accademiche e professionali. Editori potrebbero vedere peer review come un aiuto decisionale per quanto riguarda il rifiuto o l'accettazione di articoli, mentre l'aggiunta di una certa cache per loro riviste. Gli autori trovano i ritardi nelle decisioni e redattori commenti frustrante, e anche quelli le cui carte sono accettate sono deluso con la qualità delle recensioni. ^{26 Tuttavia, la domanda di Dr. Smith risponde affermando che c'è poca scopo nella revisione tra pari, a meno che ha un impatto diretto sulla cura del paziente.}

Oggi, revisioni sistematiche, meta-analisi, e l'opinione degli esperti sono il fondamento della cura basata sulle evidenze. Questi sono di solito sottoposti a peer review. Come è stato dimostrato sopra, peer review è un processo tutt'altro che perfetta. Non ha gli standard relativi ai precisione, qualità e coerenza, e nessun mezzo oggettivi di valutazione della competenza dei suoi utenti. Pertanto, basandosi su peer review per dirigere la cura del paziente potrebbe essere meno che prudente. Non sorprende che, molto poco si sa circa gli effetti benefici, se del caso, che peer review ha per migliorare lo stato di salute. ^{4, infatti, è possibile che sia meno successo in questo compito che sono gli articoli ei puntatori clinici pubblicati in le riviste commerciali. 25}

l'ambiguità associata a peer review e il suo effetto sulla cura del paziente è dimostrato nelle ultime edizioni del Journal of Canadian Dental Association. ^{27,28 il Journal ha pubblicato sei "Point of Care" articoli in queste edizioni. Due sono stati sottoposti a peer review, ma quattro non erano. Sono i lettori a ritenere che questi quattro sono inferiori anche se trovano il contenuto ad essere pertinenti e di valore pratico? In caso di qualsiasi confusione essere evitato semplicemente ignorando la designazione peer review? Nel qual caso, perché farlo?
Conclusione}

La peer review è un processo imperfetto che ha suscitato notevole ma giustificabile critiche negative. Una revisione Cochrane del soggetto ha trovato poche prove a sostegno dell'efficacia di peer review editoriale. ^{29 Di conseguenza, sembrerebbe che le opinioni del dottor Smith sono più realistici rispetto a quelli del Dr. O'Keefe di.}

Tuttavia, può essere prematuro abbandonare peer review come una causa persa. La sfida tutti gli editori che sostengono peer review è quello di dimostrare, in modo trasparente e obiettivo, che respinge sempre documenti irrilevanti, fuorvianti, banali e deboli, migliora l'accuratezza, la chiarezza, e l'utilità dei lavori accettati, e ha un effetto positivo sulla cura del paziente.

Se la sfida è soddisfatta, peer review avrà gli attributi che giustificare la sua esistenza.

Nel frattempo, i lettori farebbe bene a giudicare tutti gli articoli sui loro meriti indipendentemente da qualsiasi designazione peer review.

Dr. Hardie era intimamente coinvolto nello sviluppo delle linee guida basate sull'evidenza RCDSO 1996. Da allora ha mantenuto un interesse per questo argomento e come si e malattie correlate hanno influenzato dentali raccomandazioni di controllo delle infezioni.

salute orale accoglie questo articolo originale.
Riferimenti

​​1. O'Keefe J. A Salute to nostri revisori. J Può Dent Assoc 2010; 76 (1): 21.

2. Smith recensione R. Peer: un processo difettoso al centro della scienza e riviste. J R Soc Med 2006; 99: 178-182.

3. Benos DJ, Bashiri E, Chaves JM et al. Gli alti e bassi di peer review. Adv.Physiol Educ 2007; 31: 145-152.

4. Jefferson T, Wager E, Davidoff F. misurare la qualità della Editoriale Peer Review. JAMA 2002; 287 (21): 2786-2789.

5. Rennie D. guardia i Guardiani, una conferenza sul Editoriale Peer Review. JAMA 1986; 256 (17): 2391-2392.

6. McCullough BD, McKintrick R. controllare i numeri: Il caso di due diligence nella formazione politica. Studi in rischio e regolamento. Fraser Institute, febbraio 2009.

7. Kranish M. difetti si trovano nel convalidare studi medici. Molti vedono necessità di rivedere le norme per la revisione tra pari. Il Boston Globe, 15 agosto 2005.

8. Bailar JC, Patterson K. Journal peer review: La necessità di un programma di ricerca. N Engl J Med 1985; 312: 654-657.

9. Bloccare S. un equilibrio difficile: Editorial Peer Review in Medicina. Londra, Il Nuffield Provincial Hospitals Trust, 1985.

10. Smith R. Peer Review: Riforma o rivoluzione. BMJ 1997; 315: 759-760.

11. Jefferson T, Alderson P, Wager E, Davidoff F. Effetti della Editoriale Peer Review. Una revisione sistematica. JAMA 2002; 287: 2784-2786.

12. Rennie D. IV Congresso Internazionale sulla Peer Review nella Pubblicazione biomedica. JAMA 2002; 287: 2759- 2760.

13. Wager E, Jefferson T. Carenze di peer review in riviste biomediche. Imparato Publishing 2001; 14: 257-263.

14. Godlee F, Gale CR, Martyn CN. Effetto sulla qualità di peer review di accecare revisori e chiedendo loro di firmare i loro rapporti: uno studio randomizzato controllato. JAMA 1998; 280: 237-240.

15. Callaham ML, Baxt WG, Waeckerle JF, porta RL. Affidabilità dei redattori valutazioni di qualità soggettive di peer review di manoscritti. JAMA 1989; 280: 229-231.

16. Bloccare S. I grossolani errori di valutazione tra pari. BMJ 1993; 307: 382.

17. Peters DP, Ceci SJ. pratiche di peer-review di riviste psicologiche: il destino di articoli pubblicati, presentati di nuovo. Behavioral and Brain Sciences 1982; 5: 187-195.

18. Ufficio di Ricerca Integrità Annual Report 1999. Washington, DC: Dipartimento di Salute e Servizi Umani. 1999.

19. Rennie D. cattiva condotta e la revisione tra pari. In Godlee F, Jefferson T (a cura di), Peer Review in Scienze della Salute. London: BMJ Books, 1999, 90-99.

20. Pitkin R, Branagan MA, Burmeister LF. La precisione dei dati in abstract di articoli di ricerca pubblicati. JAMA 1999; 281: 1110-1111.

21. Wager E, Middleton P. Precisione di riferimento in riviste: una revisione sistematica. Accettato per la presentazione al 4 ° Congresso Internazionale sulla Peer Review nella Pubblicazione biomedica. Barcellona, ​​settembre 2001.

22. Moher D. CONSORT: uno strumento in continua evoluzione per contribuire a migliorare la qualità delle relazioni di studi randomizzati e controllati. JAMA 1998; 279: 1489-1491.

23. Callaham M, Trecier J. Il rapporto della formazione acquisita ed esperienza del Journal revisori al successivo riesame di qualità. PLoS Med 4 (1): e40.doi: 10.1371 /journal.pmed.0040040.

24. Polak JF. Il ruolo del manoscritto esperto nel processo di revisione tra pari. AJR 1995; 165: 686-688.

25. Rochon PA, Bero LA, Bay A et al. Confronto di revisione articoli pubblicati su riviste peer-reviewed e Throwaway. JAMA 2002; 287: 2853-2856.

26. Weber EJ, Katz PP, Waeckerle JF, Callaham M. Autore Percezione della Peer Review. Impatto della verifica della qualità e accettazione di soddisfazione. JAMA 2002; 287: 2790-2792.

27. J Può Dent Assoc 2010; 76 (2): 111-116.

28. J Può Dent Assoc 2010; 76 (3): 177-181.

29. Jefferson T, Rudin M, Brodney FS et al. peer review editoriale per migliorare la qualità delle relazioni di studi biomedici. Cochrane Database of Systematic Reviews 2007, Issue 2. Art. No.:MR000016.DOI:10.1002/14651858.MR000016.pub3.