Notizen zum Workshop Forschungsdatenarchivierung

Inhaltsverzeichnis

für alle zum Mitmachen

Kulturdatenarchivierung der Thüringer Hochschulen

zu archivieren: Parkatlas in Gotha
Uni Köln hat Software entwickelt
SIP enthält payload + Metadaten
beim Packen von SIP werden Metadaten abgefragt
SIP = tar Format, nicht fehlertolerant
SIP, AIP, DIP sollen populär sein
für Archivierung setzt sich eine Mischung aus Filesystem-Backend uns S3 durch
DNS Core rechnet viel, so dass 1TB/Tag nur schwer zu überschreiten ist
Content Broker weist ungültige Formate zurück, er ist Teil des DNS-Core
MyCoRe = Framework für Bau einer Präsentationsschicht und Ingest, aus Norddeutschland
ab SIP ist das Packet format-neutral
HSM mit mehreren Standorten funktioniert nur mit dark fibre

Was man in iRODS reinkippt, landet so auf Band
iRODs kann man auch über Bestandsdaten laufen lassen
iRODS wird in einem Consortium entwickelt, in das man sich für viel Geld einkaufen muss
iRODs wird als Docker-Container mit Ubuntu 16.04 verteilt
im letzter Zeit kam wieder Zug in die Enwicklung

MPDCF, MPDL

XtreemStore: Release Jan. 2020
noch ca. 5 HSM-Systeme heute
GAM3 braucht keine Migration
XtreemStore = Speicher
- Trennung von Logik und realem Filesystem
- XS verwaltet Daten
- Unterstützung von Bändern ist zentral
- Global Data Manager = GAM-Client
- 2 Abstraktionsschichten
  - Wo gehen die Daten hin?
  - Zugang zu Daten
Global File Catalog (GFC)
- = Katalog = Herzstück aller Verwaltungsfunktionen
- bildet ein Filesystem nach
- man kann dort auch externe Metadaten speichern
- weiss alles, kann nichts tun
File System Manager (FSM)
- entspricht GAM-Client
- kann Continous Backup
- FSM erscheint im April 2020
Metadaten Management , Q3 2020
- mit diesen Metadaten kann eine Rules-Engine arbeiten
- kann man mit der Hand eintragen
- man kann eigenen Programme zur Erzeugung, Extraktion von Metadaten anschließen
- Man kann Metadaten verschlüsselt ablegen.
Synthetisches Filesystem
- wird aus Infos im GFC gebaut
- es wird ein virtuelles Filsystem aufgebut im User Space
Storage Abstraction Layer wiess nur dass es dauern kann, Medium ist egal
LTO-Laufwerk schreibt selbst mit Redundan
oft kann man nach Defekt auf Band auch keine Daten mehr lesen
Software unter GPL
FUSE um von Kernel unabhängig zu werden
DSGVO: man muss nicht Löschen, sondern unerreichbar machen
eigentlich kein HSM mehr

185 Mitabeiter, 65 Labore
List of Shame, wenn gute wiss. Praxis nicht erfüllt wird
120 Leute pro Jahr rein und raus
Bibliothekssoftware kann nicht mit großen Datenmengen umgehen
brauchbare Web-Content-SW gab es nicht
www.pangea.de = sehr gut
https://icatproject.org
RADAR-Projekt, am FIZ Karlsruhe von DFG gefördert: https://www.radar-service.eu/de
Datenmenge < 1TB/a
HDF5 als Datenformat
Daten ausgeschiedener Mitarbeiter werden 3a aufbewahrt und von IT-Abteilung verwaltet
eine Person legt Metadaten an
haben selbst einen Satz Attribute definiert
keine einheitliche Bezeichnung, daher großes Freitext-Feld
Metadaten werden als XML-Datei zusätzlich mit den Daten ins Archivgelegt und in eine DB geschrieben
lassen keine private Nutzung zu, daher vom Datenschutz her unkritisch
Entwicklung durch Scopeland sind 3x billiger als native Programmierung
GUI hat weniger als 100t€ gekostet
origin4 wird mit arciviert