Studienziele
Die Beurteilung von Forschungsergebnissen durch eine Peer- Review sollte sich einzig nach der Qualität der Arbeit richten. Es ist aber bekannt, dass die Akzeptanz einer Studie bei Reviewerinnen und Reviewern von Sprache und Herkunft der Studie beeinflusst wird. Eine verblindete Peer-Review, bei der diese beiden Elemente nicht bekannt sind, wäre ein Mittel, diese Verzerrung zu reduzieren. Dieses Verfahren wird aber selten angewendet und seine Wirkung ist bisher unbekannt.

Methoden
Für die Studie ausgewählt wurden wissenschaftliche Beiträge, die für die Jahrestagungen der «American Heart Association » eingereicht worden waren. Die Abstracts aus den Jahren 2000 und 2001 wurden offen, d.h. mit Angaben zu Studienverantwortlichen und Institution beurteilt, diejenigen der Jahre 2002 bis 2004 erhielten eine verblindete Review. Endpunkt war die Wahrscheinlichkeit, mit der eine eingereichte Arbeit im offenen und im verblindeten Review- Verfahren akzeptiert wurde.

Ergebnisse
Pro Jahr wurden im Schnitt 13’455 Abstracts eingesandt und von diesen 29% akzeptiert. Beim offenen Review-Verfahren wurden 41% der Abstracts aus den USA und 23% der Abstracts aus anderen Ländern akzeptiert, im verblindeten Verfahren lauteten die Zahlen 33% bzw. 24%. Im offenen Review- Verfahren wurden aus englischsprachigen Ländern ausser der USA 31% und aus dem übrigen Ausland 21% der Abstracts akzeptiert, im verblindeten Verfahren 29% bzw. 23%. Von renommierten Institutionen in den USA wurden in offener Review 51% der Abstracts akzeptiert, von nichtrenommierten 33%, in verblindeter Review lauten die Zahlen 39% bzw. 29% (alle Unterschiede zwischen offener und blinder Peer-Review signifikant). Das Geschlecht der Studienverantwortlichen hatte keinen Einfluss auf die Akzeptanz einer Arbeit.

Schlussfolgerungen
Die Studie zeigt, dass offene Review-Verfahren einen Selektionsbias bewirken: amerikanische Arbeiten und solche aus Ländern mit englischer Sprache sowie Arbeiten, die von prestigeträchtigen oder staatlichen Institutionen stammen, werden im offenen Review-Verfahren gegenüber Studien anderer Herkunft bevorzugt behandelt.

Zusammengefasst von Franz Marty

Die Peer-Review, das Beurteilen von wissenschaftlichen Arbeiten durch andere Fachleute vor der Publikation in Zeitschriften oder als Abstracts an Kongressen wie auch von Forschungsanträgen bei Stiftungen usw. gerät von Zeit zu Zeit stark unter Kritik, weil nicht die wissenschaftliche Qualität allein ausschlaggebend sei, sondern Ermessensfaktoren. Die Resultate der vorgestellten Studie widerspiegeln wohl die Realität: Weiche Faktoren fliessen in die Beurteilung ein. Schade, dass das Prestige bei der nicht-verblindeten Peer-Review so schwer wiegt! Auf Grund der Resultate kann der Verblindung der Review der Vorzug gegeben werden, zumindest für die Beurteilung von Abstracts. Ob ein solches Verfahren für Zeitschriften auch machbar ist, bezweifle ich allerdings, denn hier ist die Verblindung viel schwieriger und mit einem viel zu grossen Aufwand verbunden. Es bleibt, was Jerome Kassirer gesagt hat: Peer-Review ist eine grobe Methode, aber unverzichtbar. Unverzichtbar ist auch, dass die Lesenden sich selbst ein Urteil bilden über eine publizierte Arbeit und sich nicht auf das Ansehen der Zeitschrift allein verlassen.

Renato L. Galeazzi

Standpunkte und Meinungen

• Es gibt zu diesem Artikel keine Leserkommentare.