DA NRW Software Suite

Allgemeines

Das „Digitale Archiv NRW” (DA-NRW) bietet unter einem Dach alle Dienstleistungen und Anwendungen (Contentbroker, Presentation Repository und SIP Builder sowie die zentrale Software für die Archivfunktionalität IRODS, vgl.: https://www.irods.org/) für eine OAIS-konforme Langzeitarchivierung an. Einige Features werden sofort, andere Dienstleistungen jedoch erst später entwickelt und integriert werden.

Wichtigste Aufgabe des aktuellen Implementierungsprojektes ist es, eine flexible, ausbaufähige Architektur zu schaffen, die eine sehr große Anzahl digitaler Objekte verschiedenster Provenienz und Art – im Prinzip das digitale und digitalisierte kulturelle Erbe von Nordrhein-Westfalen – aufnimmt, für die LZA aufbereitet, verwaltet und durch harvesting für ggf. autorisierte Portale zugänglich macht.

Dabei ist ein entscheidendes Paradigma des DA-NRW, dass die langzeitzuarchivierenden Daten an verschiedenen Orten in NRW redundant gespeichert und regelmäßig synchronisiert werden, damit im Falle eines lokalen Black-Outs die Daten weiter verfügbar sind.

Das DA-NRW besteht aus dem SIP Builder, der DA-NRW Software-Suite (=Contentbroker und Langzeit-Archiv im Grid) und dem Presentation Repository. Letzeres kann über eine OAI Harvesting Schnittstelle von Web-Plattformen abgefragt werden.

Der SIP Builder stellt eine Client-Software dar, Ingest und Retrieval in das Langzeit-Archiv können vom Benutzer lokal gesteuert werden.

Das Langzeitarchiv mit IRODS als zentraler Archiv-Software und dem Contentbroker als hybridem Java-Werkzeug wurde an der Universität zu Köln entwickelt und wird vom Betreiber zur Verfügung gestellt. Es handelt sich dabei um eine verteilte Open-Source Serveranwendung, die auf mehreren sog. „Knoten“ bei verschiedenen Betreibern läuft.

Ein von einem Betreiber zur Verfügung gestellter Knoten stellt dabei den zentralen Einstieg in das Archiv dar. Auf jedem Knoten im Archiv wird IRODS zusammen mit dem ContentBroker betrieben. Anders herum wird der Contentbroker und damit der Zugriff auf das Archiv durch IRODS realisiert. Es werden RedHat 6-Server und Java-Technologien sowie in geringerem Ausmaß C-Code verwendet

Das Presentation Repository mit den zum Web-harvesting aufbereiteten Datenpaketen wird auf einem der Knoten innerhalb der IRODS Logik ausgeführt. Das Presentation Repository wird durch die Repository-Software Fedora verwaltet. Zusätzlich ermöglicht Fedora die Abfrage von Metadaten.

Der SIP Builder ist prinzipiell für den Einsatz bei den Datenlieferanten gedacht, die die Inhalte für das DA-NRW zur Verfügung stellen. Der SIP Builder bereitet die Daten für den Ingest vor. Zur Implementation des SIP Builders wird Java-Technologie verwendet. Das unterliegende Betriebssystem kann Linux (auch MacOs) oder Windows (ab XP) sein. Der Transfer der Daten zum ContentBroker selbst erfolgt nicht über den SIP-Builder, sondern über eine WebDav-Schnittstelle, die in den meisten Betriebssystemen vorinstalliert sein sollte.

Abb.1: Allgemeine Architektur des Digitalen Archiv NRW.

News und Updates

SIP-Builder Download

Den SIP-Builder, das Tool zum Erstellen von Submission Information Packages im dem vom DA-NRW-Langzeitarchivierungssystem akzeptierten Transportformat zur Einlieferung, können Sie hier herunterladen. Hierbei handelt es sich um eine Version, die für einen Test-User konfiguriert ist. Bitte wenden Sie sich an uns, wenn Sie für Ihre Institution eine personalisierte Version des SIP-Builders wünschen.

Version 0.3.1 Obernepthen

  • Die Software Suite beinhaltet iRODS 3.1
  • Der ContentBroker wurde umgestellt auf eine Standalone-Anwendung, die als Service im Betriebssystem eingerichtet werden kann:
    • Die Architektur ist nun multithreaded, wodurch ein höherer Durchsatz bei der Verarbeitung erreicht wird.
    • Actions können jetzt mit Hilfe von Spring in einer XML-Datei konfiguriert werden.
    • Einzelne Typen von Actions können unterschiedlich priorisiert werden.
    • Der Workflow auf einzelnen Knoten kann individuell an die Gegebenheiten der jeweiligen Hardware und Software angepasst werden.
    • Verbessertes Ordnerlayout der Installationspakete
  • Die Abhängigkeiten des ContentBrokers zu iRODS wurden aufgelöst, sodass die Storage-Layer prinzipiell austauschbar ist:
    • Teile der Geschäftslogik, die bisher in iRODS Rules und Microservices abgebildet wurden, wurden in ein eigenes ContentBroker-Modul überführt.
    • Besseres Ressourcenmanagement durch verschiedene Anpassungen der Anwendungsarchitektur.
    • Pfade in EAD-Dateien werden automatisch angepasst, sodass sie den URIs der referenzierten Dateien im Presentation Repository entsprechen
    • Verbessertes Logging:
      • Zusätzlich zu bestehenden Logfiles wird auf der Ebene einzelner Pakete geloggt, hierdurch ergibt sich für den Administrator die Möglichkeit gezielter die Arbeitsschritte eines einzelnen Pakets nachzuvollziehen.
  • Einfachere Konfiguration des ContentBroker durch eine einheitliche Config-Datei für gängige Einstellungen.
  • Verbessertes Session-Handling in der Datenbankverbindungsschicht im ContentBroker.
  • SIP-Builder:
    • Komfortanpassungen im Bereich der SIP Generierung.
      • Bei versehentlich falscher Auswahl der Erstellungsoption erscheint nun ein Warnhinweis.
      • Unterordner des Quellordners können nicht mehr als Ziellokation ausgewählt werden.
    • Es wurde ein Mechanismus integriert, der bereits bei der SIP Erstellung auf 0 Byte Dateien prüft.
    • Verbesserte Warnhinweise und Fehlermeldungen.
    • Überarbeitete Rechtemaske, insbesondere in Bezug auf Speicherung und das Einlesen.
  • Umfangreiche, standardisierte Tests zur Qualitätsicherung.
  • Automatisierte Integrationstests.
  • Standardisierter Deploymentprozess.
  • Diverse weitere Bugfixes.

Abb. 2: Use Cases.

Abb. 3: Bestandteile der Serverapplikation der DA NRW Suite.

Geben Sie Stichwörter ein, die dieser Seite hinzugefügt werden sollen:
Please wait 
Sie suchen ein Stichwort? Beginnen Sie einfach zu schreiben.