Die Wissenschaft schützen: TIB baut Dark Archive für arXiv auf

read this article in English

Forschung und Wissenschaft sind international, nicht umsonst spricht man von internationalen Fachcommunities. Ein Dienst wie arXiv wird zwar von einer in den USA ansässigen Einrichtung, der Cornell University, betrieben, genutzt wird arXiv aber von Forschenden weltweit, wie zum Beispiel die Statistik der Submissions eindrücklich beweist. Auch ein Teil der Finanzierung von arXiv ist seit 2010 mit Einführung der arXiv Membership internationalisiert worden. Die TIB finanziert den deutschen Beitrag gemeinsam mit der Helmholtz-Gemeinschaft Deutscher Forschungszentren (HGF) und der Max-Planck-Gesellschaft (MPG).

Was ist arXiv?

Die Plattform arXiv.org ist ein frei zugängliches Online-Archiv für wissenschaftliche Preprints, also Vorabveröffentlichungen von wissenschaftlichen Arbeiten, die noch nicht oder noch nicht endgültig begutachtet (Peer-Review) wurden. Der Preprint-Serverdienst arXiv hat große Bedeutung in der Informationsversorgung für die Physik, Mathematik und Informatik und angrenzende Fächer. Über arXiv haben Forschende die Möglichkeit, auf neueste Forschungsergebnisse noch vor der eigentlichen Veröffentlichung in einem qualitätsgesicherten Journal zugreifen zu können. Seit seiner Gründung 1991 als erster Online-Preprintdienst dient arXiv eine Vorbild für die Entwicklung von Preprint-Diensten in anderen Fächern (vgl. Rzayeva et al. 2025, https://doi.org/10.31235/osf.io/xdwc4_v2).

Wenn also die Trump-Regierung Entscheidungen fällt, die fatale Folgen für Wissenschaft und Forschung in den USA haben, hat das auch Konsequenzen weit über den Golf von Mexiko hinaus: In den letzten Tagen häufen sich in deutschen Medien Meldungen, die von der Furcht der Forschenden nicht nur vor Datenverlusten, sondern auch vor dem Verlust etablierter Informationsportale wie zum Beispiel PubMed zeugen.

Gefährdete Forschungsdaten sichern

Initiativen wie „Safeguarding Research and Culture“ bemühen sich, bedrohte Forschungsdaten und Websites für die Forschungscommunities und die Nachwelt zu sichern. Die bedrohten Inhalte reichen von den Sozialwissenschaften (zum Beispiel Forschung zu LGBTQIA+-Themen), Medizin (zum Beispiel Impfstoffe)
bis zu den Naturwissenschaften (zum Beispiel Klimaforschung). Während Forschung mit Bezügen zu politischen Debatten den offensichtlichsten und schärfsten Repressalien ausgesetzt ist, kann prinzipiell jede Forschung von „Einsparungs-“ und Umstrukturierungsmaßnahmen bedroht sein. Dies zeigt sich zum Beispiel an der geplanten Schließung der traditionsreichen Atomspektroskopie-Gruppe am National Institute of Science and Technology (NIST).

Dezentrale Infrastrukturen in der Wissenschaft

Leider ist von einer weiteren Eskalation der schon jetzt bedrückenden Einschränkungen der Wissenschaftsfreiheit in den USA auszugehen. Nicht zuletzt aufgrund der großen Bedeutung US-amerikanischer Institutionen im internationalen Wissenschaftssystem betreffen diese Entwicklungen Forschungsinfrastrukturen weltweit. Wie „Safeguarding Research and Culture“ in ihrem Mission Statement schreiben, erfordert dies ein Umdenken, unter anderem hin zu dezentralisierten und dadurch resilienteren Infrastrukturen.

Für arXiv gab es bis zum letzten Jahr ein System, das hier zumindestens zeitweise hätte helfen können: In den Anfangszeiten des Internets, die ja auch die Anfangszeiten von arXiv waren, gab es neben dem Hauptserver arXiv.org ein weltweit verteiltes Netz von Spiegeln oder arXiv mirror sites, die es ermöglichten, auf einen geografisch näheren Abzug der arXiv-Inhalte zuzugreifen. Legendär war hier zum Beispiel der Augsburger arXiv-Spiegel de.arXiv.org, der häufig mit kürzeren Zugriffs- und Antwortzeiten überzeugte.

Mit den Jahren und dem technischen Fortschritt ließen sich dann aber keine Unterschiede mehr zwischen der Performance der lokalen Spiegel (unter anderem bei der Europäischen Organisation für Kernforschung CERN, oder am Los Alamos National Laboratory (LANL) in Frankreich und Japan) und dem Hauptserver arXiv.org festzustellen, sodass über neunzig Prozent des Traffics über diesen Server lief und die Spiegel nur noch wenig genutzt wurden. Der Aufwand für die Pflege und Aktualisierung der Spiegel stand damit nach Ansicht des arXiv-Teams in keiner angemessenen Relation mehr, wie im arXiv-Blog unter Attention arXiv users: arXiv mirrors to shut down September 15th, 2024 nachzulesen ist.

Nachdem das arXiv-System in den letzen Jahren auf eine vollständig cloud-zentrierte Architektur für seine Dienste umgestiegen ist, kamen die arXiv-Verantwortlichen zum Ergebnis, dass

„The arXiv mirror network served a role – acting as a backup for the corpus, allowing some degree of load distribution, and providing improved access for users who were geographically closer to a mirror – that is no longer necessary. arXiv now has multiple backups for the arXiv corpus in place, and the Fastly CDN (Content Delivery Network) that we use to deliver content provides excellent service throughout the world.“

Als in Europa angesiedelte Einrichtung haben wir das schon immer etwas anders gesehen – und die aktuellen Entwicklungen scheinen unsere Vorbehalte leider zu bestätigen – und haben uns immer für den Erhalt der Spiegel eingesetzt bzw. uns nach Alternativen umgesehen. Einige Prozesse haben sich dabei leider als langwierig und schwierig herausgestellt, zum Beispiel auch aufgrund der lizenzrechtlichen Rahmenbedingungen. (Open Access ist nicht unbedingt Open Access, wenn die Autor:innen alleine arXiv das Recht zu Bereitstellung gegeben haben.) Andere werden eventuell noch weiterverfolgt werden können.

Warum die TIB arXiv-Daten archiviert

Was wir aber in den letzten Wochen umgesetzt haben, ist ein Dark Archive der arXiv-Inhalte aufzubauen:

Im ersten Schritt muss im Falle eines Dark-Archives-Aufbaus natürlich die Rechteklärung erfolgen. Hier hatte die TIB bereits 2016 ein Rechtsgutachten im Rahmen einer möglichen Kooperation mit arXiv.org in Auftrag gegeben. Hierbei wurden auch die von arXiv genutzten Lizenzen untersucht, die sich grob in die Kategorieren „arXiv.org Lizenz“ , „Creative Commons“ und „Public Domain“ unterteilen lassen. Während der eigentlichen Archivierung der Daten und Metadaten nichts im Wege steht, muss diese Rechtesituation sodann bei der Zugänglichmachung auf die Daten im Rahmen eines Services näher untersucht werden. Dies gilt insbesondere für die mit den arXiv-Lizenzen versehenen Objekten, da dieser Lizenztyp über die Jahre auch verschiedene Versionen durchlaufen hat. In den Jahren 1991 bis 2003 wurden Objekte sogar ohne ausdrückliche Lizenz von Nutzer:innen hochgeladen.

Bevor aber ein Nutzungsdienst zukünftig überhaupt erst aufgesetzt werden kann, müssen die Daten zunächst in die TIB-Infrastruktur geladen werden. Hierzu stellt arXiv selbst für die Volltexte verschiedene Methoden bereit. Da sowohl PDF als auch (La)TeX Sourcen Bestandteil des TIB Dark Archives sein sollen, haben wir uns für den Download über Amazon S3 entschieden. Diese Möglichkeit bietet arXiv als „Requester Pays Buckets“-Methode – dies bedeutet, dass die TIB als abholende Entität die bei Amazon Web Services (AWS) anfallenden Kosten übernimmt. Für die 2.685.172 abgeholten Datensätze mit knapp unter 10 Terabyte Datenvolumen sind im S3 Transfer circa 900 Euro angefallen.

Da die Metadaten aus arXiv schon seit längerer Zeit eine feste Datenquelle des TIB-Portals sind, musste kein neuer Workflow hierfür eingerichtet werden. Dies erleichtert perspektivisch auch die Zugänglichmachung der Datensätze über das TIB-Portal. Eine Möglichkeit hierzu ist beispielsweise die Hinterlegung eines zweiten Download-Links im Hintergrund der arXiv-Datensätze im TIB-Portal. Ist der erste Downloadlink, welcher auf die arXiv-Quelle zeigt, nicht mehr erreichbar, so soll der zweite Link greifen, der auf die nun an der TIB vorliegende Kopie zeigt. Für Nutzende des TIB-Portals ist damit ein nahtloser Zugriff auf die arXiv-Records möglich, auch bei Ausfall der eigentlichen Plattform bei Cornell. Wie weiter oben erwähnt ist diese Zugänglichmachung aber abhängig von den jeweiligen Lizenzen.

Ebenso muss nun nach der ersten Komplettabholung des arXiv-Bestands ein Prozess eingerichtet werden, welcher neu hinzukommende arXiv-Datensätze sowie Versionierungsinformationen für bereits vorhandene Datensätze regelmäßig abholt.

„Der Aufbau eines Dark Archives ist Ausdruck unseres langjährigen Engagements für eine verlässliche, internationale Wissenschaftsversorgung und als Partnerin von arXiv. Auch wenn das Dark Archive heute nur im Hintergrund arbeitet, ist es ein entscheidender Baustein für die langfristige Absicherung digitaler Forschungsinhalte, denn im Krisenfall können wir das Archiv öffnen.“

Dr. Irina Sens, stellvertretende Direktorin der TIB

Dark Archive: Daten gespeichert, aber nicht öffentlich zugänglich

Die Daten sind also vorhanden, aber im Fall der Fälle bedürfte es einiger weiterer Schritte, um sie öffentlich machen zu können. Ein Datenbankdienst ist schließlich viel mehr eine bloße Sicherungskopie eines Datensatzes: Für den Betrieb im Sinne der Forschenden werden nicht nur technische Ressourcen benötigt, sondern vor allem ein engagiertes Team, welches sich der vielfältigen Aspekte im Hintergrund wie zum Beispiel Qualitätssicherung oder inhaltlicher und technischer Weiterentwicklung annimmt.

Im Falle von arXiv gibt es nicht nur die Zugänglichkeit der Artikel und die Suchfunktion, die Upload-Services für Autor:innen und weitere technische Dienste. Vielmehr ist die Verankerung in der wissenschaftlichen Community das Herz von arXiv: Eine Vielzahl von Forschenden, die sich in diversen Gremien, für die Moderation der Inhalte oder als freiweillige Entwicker:innen engagiert! Dieses gesamte „Ökosystem“ eines Dienstes neu zu verwurzeln, wäre die weitaus größere Aufgabe als eine Sicherungskopie der Daten unter einer neuen URL zugänglich zu machen. Daher gilt es gleichermaßen, das öffentliche Bewusstein für die Wissenschaftsfreiheit zu schärfen, wie auch wissenschaftsintern, die Bedeutung von Diensten wie arXiv zu würdigen – und sie, so gut wie möglich, resilient und nachhaltig zu machen.