…oder woran man die Qualität wissenschaftlicher Journale erkennen kann

Das Open Science Office der Universitätsbibliothek Leipzig (UBL) unterstützt Wissenschaftlerinnen  und Wissenschaftler auch bei Publikationen in OA-Zeitschriften. Dabei prüft es seit vier Jahren die Qualität wissenschaftlicher Zeitschriften. Diese Arbeit wird umso wichtiger, als dass in der Wissenschaftscommunity zunehmend Stimmen ob der mangelnden Seriosität und Qualität vermeintlich wissenschaftlicher Zeitschriften kursieren. In folgendem Beitrag erläutern die Kolleginnen und Kollegen vom Open Science Office anhand von Beispielen, woran man solche „betrügerischen“ Zeitschriften erkennen kann und geben wichtige Hinweise für die Einschätzung deren Qualität.

Die Legende von der räuberischen Zeitschrift – engl. Predatory Journal  – geht so: Sie verführt den zum Publish or Perish verdammten Wissenschaftler zur schnellen und einfachen Publikation gegen Bezahlung einer gewissen Summe. So macht sie entweder am Naiven oder gar am Mutwilligen regelmäßig fette Beute.

In der Realität ist der Übergang zwischen Schwarz und Weiß aber immer noch Grau und fließend und wir sind im Open Science Office daher nicht besonders traurig über die Abschaltung der Beall’schen Blacklist zum Anfang des Jahres. Dennoch: Seit der Gründung der ersten wissenschaftlichen Zeitschrift im Jahre 1665 ist viel passiert und die Lage wird zunehmend unübersichtlich. Unter den geschätzt mindestens 40.000 wissenschaftlichen Zeitschriften gibt es neue Titel bei bekannten Verlagen, neue Verlage mit bekannten Strategien, neue Begutachtungsverfahren und verlagsunabhängige Initiativen bis hin zu radikalen Open-Access-Verfechtern. Wie soll man da den Überblick behalten oder als wissenschaftlicher Nachwuchs eine Übersicht überhaupt erst erlangen?

Vor dieser Frage stehen wir auch im Open Science Office, denn der Open-Access-Publikationsbereich ist besonders innovationsfreudig. Im Folgenden geben wir daher einige Anregungen, woran man sich bei der Beurteilung einer Zeitschrift orientieren kann und was dabei zu beachten ist. Wie kann ich als Autor oder Autorin sicherstellen, dass die Früchte einer Forschungstätigkeit in einem möglichst reputablen Journal erscheinen?

Dabei lautet die erste Frage bei unbekannten Zeitschriften immer:

Hat schon jemand vor mir die inhaltliche Qualität beurteilt?

Das bedeutet konkret: Hat sich die Zeitschrift oder der herausgebende Verlag in irgendeiner Weise bereits um Anerkennung und Qualitätsprüfung durch die Community bemüht?

Zu nennen wären hier zum Ersten die Indexierung in einschlägigen Datenbanken, zum Zweiten die Zugehörigkeit zu einer anerkannten Herausgebervereinigung. Als wissenschaftliche Datenbanken führen beispielsweise sowohl PubMed als auch das Web of Science eine Prüfung der inhaltlichen Relevanz von Zeitschriften durch, die sie in ihren Datenbanken auf Artikelebene erschließen und indexieren. Daher ist es immer ein gutes Zeichen, wenn die gewählte Zeitschrift hier gelistet wird – allerdings sollte man dabei unbedingt auf der Seite der Datenbank nachschlagen und sich nicht allein auf die Auskünfte des Journals auf dessen eigener Webseite verlassen. Denn leider werden hier oftmals irreführende Angaben gemacht: Besonders häufig betrifft das den sogenannten Journal Impact Factor. Im Beispiel unten wird ein Journal Impact Factor angegeben und damit suggeriert, dass die Zeitschrift in den Journal Citation Reports gelistet wird, obwohl dies nicht der Fall ist:

Bleiben wir bei diesem Beispiel. Mit dem Link zum Eintrag in die National Library of Medicine (NLM) wird auf der Website suggeriert, dass die Zeitschrift in PubMed gelistet ist. Allerdings: Prüfen Sie den Indexierungsstatus (!) – denn nur, wenn hier steht „indexed by PubMed“ bedeutet das auch, dass die von der NLM eingeforderten Qualitätskriterien für die Indexierung auch tatsächlich erfüllt sind. Ein Eintrag in den Katalog der NLM ist dagegen nichts weiter als ein bloßer Nachweis der Existenz der Zeitschrift, und keinesfalls ein Hinweis auf eine qualitative Prüfung durch die NLM. Außerdem sind auch die einzelnen Artikel der Zeitschrift somit nicht für PubMed erschlossen und folglich nicht in der Datenbank zu finden.

Den Indexierungsstatus einer Zeitschrift in PubMed können Sie über die Suchmaske der NLM per Name oder ISSN ganz einfach selbst überprüfen. Neben den genannten führen natürlich auch die meisten anderen Datenbanken eine Qualitätsprüfung durch, im Open-Access-Bereich wäre hier noch das DOAJ Directory of Open Access Journals zu erwähnen.

Neben der Indexierung in Fachdatenbanken können sich Zeitschriften und Verlage als zweite Möglichkeit um die Aufnahme in Herausgebervereinigungen bemühen, die ihrerseits Verhaltens- und Ethikkodizes für das wissenschafltliche Publizieren definieren. Zu nennen wären da:

• COPE Committee on Publication Ethics
• OASPA Open Access Publishers Association
• ICMJE International Committee of Medical Journal Editors
• WAME World Association of Medical Editors
• CSE Council of Science Editors
• EASE European Association of Science Editors

Aus diesen Gründen schauen wir bei Anträgen an den Open-Access-Publikationsfonds bei uns unbekannten Zeitschriften immer als erstes, ob diese in den einschlägigen Datenbanken gelistet sind. Der zweite Blick gilt dann dem herausgebenden Gremium. Zum einen lassen wir uns damit durch die jeweiligen Dienste in der Qualitätskontrolle unterstützen – zum anderen können wir uns sicher sein, dass die Artikel dort gefunden werden können, wo sie in aller Regel auch gesucht werden. Deshalb sollte man sich auch gleich die Frage stellen, ob man schon bei den eigenen wissenschaftlichen Recherchen auf die Zeitschrift aufmerksam geworden ist.

Kann ich den Inhalt des Journals selbst fachlich einschätzen?

Als Fachwissenschaftlerin haben Sie darüber hinaus noch weitere Möglichkeiten zur Qualitätseinschätzung. Die naheliegendste dabei ist sicherlich: Haben Sie schon Artikel der Zeitschrift für die eigene Forschung gelesen? Wenn ja, wie war die Qualität? Kennen Sie Autorinnen und Autoren, die in dem Journal publiziert haben? Wird die Zeitschrift von einer renommierten Fachgesellschaft herausgegeben? Klingen die Namen in den Editorial Boards bekannt, von Artikeln oder Konferenzen, die Sie besucht haben?

Aber Achtung! Nur weil die Wissenschaftskollegen auf einer Webseite aufgeführt werden, heißt das leider noch nicht automatisch, dass dies in deren Kenntnis und Einverständnis geschehen ist. Im vergangenen Jahr verklagte die US-amerikanische Federal Trade Agency den Verlag und Konferenzveranstalter OMICS Group mit Sitz in Hyderabad und Los Angeles. Dem Verlag wird vorgeworfen, mit falschen Versprechungen zum Begutachtungsverfahren und durch Vortäuschen falscher Tatsachen zahlreiche Wissenschaftlerinnen und Wissenschaftler betrogen zu haben. Im Speziellen wären die Namen zahlreicher namhafter Forscher ohne deren Zustimmung in den Editorial Boards aufgetaucht.

Zu unserem Beispiel: Prof. Ruth Prassl wird auf der Website des Journal of Membrane Science & Technology als Editorial Board Member geführt. Anhand der Angaben im Forschungsportal ihrer Heimateinrichtung, der Medizinischen Universität Graz, kann diese Angabe nicht verifiziert werden, obwohl dort grundsätzlich Angaben zu Herausgeber- und Gutachtertätigkeiten aufgeführt sind.

Selbstdarstellung des Journals

Darüber hinaus gibt es zahlreiche weitere Merkmale einer Zeitschrift, die einen gewissen Argwohn rechtfertigen können: Sind alle Informationen zum Ablauf der Einreichung, des Peer-Review-Prozesses und zu eventuell anfallenden Gebühren transparent dargestellt? Dazu gehören auch die Kontaktdaten – seriöse Zeitschriften geben in der Regel die Namen von Ansprechpartnern Editorial Board, sowie E-Mail-Adressen und Telefonnummern für Anfragen an (wie hier am Beispiel der Zeitschrift PLOS Biology). Ein Kontaktformular ohne weitere Angaben und Kontaktmöglichkeiten ist zwar vermutlich kein Ausschlusskriterium, sollte aber mindestens ein Warnsignal sein.

Shamseer et al. (2017) haben außerdem anhand einer systematischen Auswertung von knapp 300 Zeitschriften die folgenden Top-Eigenschaften biomedizinischer Fake-Journals ausgemacht:

1. Die inhaltliche Ausrichtung ist verwaschen und nicht eindeutig.
2. Die Website enthält orthographische und grammatikalische Fehler.
3. Abbildungen sind verzerrt oder von schlechter Qualität, ggf. nicht autorisiert.
4. Ansprache auf der Webseite vermehrt an Autorinnen und Autoren (statt Leser).
5. Index Copernicus wird als Metrik angegeben.
6. Keine Zugehörigkeit zu einer Herausgebervereinigung (s.o.).
7. Manuskript-Einreichung per E-Mail.
8. Versprechen einer schnellen Publikation.
9. Fehlen einer „Retraction Policy“.
10. Fehlende Informationen zur Archivierungsstrategie der digitalen Inhalte.
11. Sehr niedrige Artikelbearbeitungsgebühren.
12. Fehlende Erwähnung des Copyright Agreement oder Transfer of Copyright, obwohl die Zeitschrift Open Access ist.
13. Unprofessionelle Kontakt-E-Mail-Adressen bzw. nicht mit dem Journal oder Verlag im Zusammenhang stehend (z.B., @gmail.com oder @yahoo.com).

Was unsere Beurteilung im Open Science Office für die Förderwürdigkeit einer Zeitschrift durch den Open-Access-Publikationsfonds angeht, so lehnen wir weit mehr Anträge ab, weil es sich bei der gewählten Zeitschrift nicht um eine Open-Access-Zeitschrift handelt, als aus Qualitätsgründen. Für die Beurteilung der Qualität ist für uns die Indexierung in einschlägigen Datenbanken das erste Kriterium. Ausnahmen von dieser „Indexierungsregel“ sind jedoch möglich; beispielsweise wenn die Zeitschrift noch sehr neu ist. In diesen Fällen treffen die Rektoratsbeauftragten für die Qualitätssicherung der Open-Access-Förderung der Universität Leipzig jeweils eine Einzelfallentscheidung.

Wir haben im Open Science Office die Erfahrung gemacht, dass nicht der Name einer Zeitschrift entscheidet, wie gut oder schlecht oder mittelmäßig die Publikationen darin sind sondern dass im Einzelfall immer die involvierten Personen über die Qualität eines Artikels entscheiden. Letztlich kann nur die Wissenschaft selbst definieren, welche Standards sie für ihre Fachpublikationen umgesetzt sehen möchte – ob als Autorinnen und Autoren, als Gutachterinnen und Gutachter, oder als Herausgeberinnen und Herausgeber.

Wissenschaftspublikationen können von unterschiedlichem Niveau sein. Wer aber hier Opfer und wer Täter ist, darüber streiten sich die Geister, gibt es unterschiedliche Sichtweisen: Mal sind die Autoren selbst an der Nase herumgeführt worden, ein anderes Mal sind sie vielleicht mit streitbaren Themen bei den etablierten Zeitschriften „abgeblitzt“ und wussten sich nicht anders zu helfen, um ihren Artikel publiziert zu bekommen. Wir in der UBL beobachten die Entwicklungen der „betrügerischen Zeitschriften“ nun schon ein paar Jahre und können nur sagen: „es ist… kompliziert“. Aber wir haben schon Erfahrungen sammeln können und beraten Sie gern. Melden Sie sich einfach bei uns im Open Science Office!

Zum Weiterlesen empfehlen wir:

• Identifying Predatory Publishers by Tracy Vence, the-scientist.com, 17.07.2017
• Many Academics Are Eager to Publish in Worthless Journals by Gina Kolata, nytimes.com, 30.10.2017
• New Assessment Process Boosts Credibility of Developing-world Journals by Siån Harris, scholarlykitchen.sspnet.org, 21.09.2017
• thinkchecksubmit.org