Hinter den Kulissen: ein Blick in die Archive der Zukunft

Behind the Scenes Artikel wurde LiveScience in Zusammenarbeit mit der National Science Foundation zur Verfügung gestellt.

Wie versteht ein Archivar der Beziehung zwischen den Milliarden von Dokumenten oder suchen Sie einen einzelnen Datensatz in einem Meer von Daten? Mit der Verbreitung von digitalen Unterlagen ist die Aufgabe des Archivars komplexer gewachsen. Dieses Problem ist besonders kritisch für die National Archives and Records Administration (NARA), die für die Verwaltung und Erhaltung der historischen Aufzeichnungen des Landes zuständige Regierungsbehörde.

Am Ende der Präsident George W. Bush Administration im Jahr 2000, NARA erhielt etwa dreißig - fünf Mal war die Datenmenge als zuvor erhielt von der Administration von Präsident Clinton, die selbst viele Male der vormaligen Verwaltung. Mit der Bundesregierung zunehmend mit social Media, Cloud-computing und andere Technologien dazu beitragen, die um Regierung zu öffnen dürfte sich dieser Trend nicht zu sinken. NARA rechnet bis zum Jahr 2014 mehr als 35 Petabyte (Quadrillions Bytes) Daten in Form von elektronischen Aufzeichnungen zu sammeln.

"The National Archives eine einzigartige nationale Institution, die Anforderungen für die Erhaltung, Zugang und die weitere Nutzung der Regierung Aufzeichnungen reagiert", sagte Robert Chadduck, stellvertretender Direktor des National Archive Center for Advanced Systeme und Technologien.

Innovative und skalierbare Lösungen für umfangreiche elektronische Datensätze Sammlungen, Chadduck wandte sich an die Texas Advanced Computing Center (TACC) finden Spitzenforschung ein National Science Foundation finanzierte Zentrum für Datenverarbeitung, auf die Expertise von TACCs digitalen Archivar, Maria Esteva und Daten-Analyse-Experte, Weijia Xu zeichnen.

"Für die Regierung und die Nation, wirksam auf alle Anforderungen reagieren, die mit sehr großen digitalen Plattensammlung sind, einige Kandidaten Ansätze und Werkzeuge benötigt, die sind in der Klasse der Cyberinfrastructure verkörpert, die derzeit in der Entwicklung bei TACC," sagte Chadduck.

Nach Rücksprache mit NARA über ihre Bedürfnisse, Mitglieder des TACCs Daten und Informationsanalyse entwickelte die Gruppe einen mehrgleisigen Ansatz, der verschiedenen Daten-Analyse-Methoden in einer Visualisierung Rahmen kombiniert. Die Visualisierungen dienen als eine Brücke zwischen der Archivar und die Daten interaktiv Rendern Informationen wie Formen und Farben, um ein Verständnis der Struktur und den Inhalt des Archivs zu erleichtern.

Archivare verbringen eine erhebliche Menge an Zeit, die Bestimmung der Organisation, Inhalte und Merkmale der Kollektionen, so dass sie sie für den Zugang der Öffentlichkeit Zwecke zu beschreiben. "Dieser Prozess beinhaltet eine Reihe von standard-Praktiken und jahrelange Erfahrung aus der Archivar-Seite", sagte Xu. "Zur Erfüllung dieser Aufgabe in groß angelegten digitalen Sammlungen entwickeln wir Technologien, die Rechenleistung mit Fachkompetenz zu verbinden."

Wissend, dass die menschliche visuelle Wahrnehmung ist eine leistungsfähige Informationsverarbeitung System, erweitert TACC Forscher auf Methoden, die diese angeborene Fähigkeit nutzen. Vor allem passten sie die bekannten Treemap-Visualisierung, die traditionell zur Darstellung von Dateistrukturen, um Zusatzinformationen Dimensionen, wie technische Metadaten, Datei Format Korrelationen und Erhaltung – Risikostufen zu rendern verwendet wird. Diese Information wird durch datengetriebene Analyse-Methoden auf die Visualisierung Back-End bestimmt. Die Darstellungen sind der Archivar Notwendigkeit zu vergleichen und verschiedene Gruppen von elektronischen Datensätzen im laufenden Betrieb angepasst. Auf diese Weise kann Archivar beurteilen, überprüfen oder die Ergebnisse in Frage zu stellen und andere Analysen.

Die Backend-Analysemethoden entwickelt vom Team verbindet Zeichenfolge Ausrichtung Algorithmen mit Natural Language Processing Methoden, zwei Techniken gezogen aus der Biologie. Auf Etiketten Verzeichnis und Datei Namenskonventionen angewendet, hilft die Methode Archivare ableiten, ob eine Gruppe von Datensätzen werden von ähnlichen Namen, nach Datum, nach geographischen Standort, in sequenzieller Reihenfolge oder durch eine Kombination aus diesen Kategorien organisiert.

Eine weitere Analysemethode in der Entwicklung berechnet Absatz für Absatz Ähnlichkeit und clustering Methoden verwendet, um "Geschichten" aus große Sammlungen von e-Mail-Nachrichten automatisch zu erkennen. Diese Geschichten, von Nachrichten, die auf die gleiche Aktivität oder Transaktion, verweisen gemacht werden dann die Punkte für den Zugang zu großen Sammlungen, die manuell untersucht werden kann nicht.

Terabyte Daten zu analysieren, die Forscher Daten und verteilen Rechenaufgaben über mehrere Computer Knoten auf TACC high-Performance-computing-Ressourcen, Longhorn, ein Daten-Analyse und Visualisierung-Cluster von NSF finanziert. Dies beschleunigt die computing-Aufgaben, die sonst viel längeren Zeit auf standard-Workstations nehmen würde.

"TACC des staatlich anerkannten HPC Supercomputer bilden wunderbare nationale Investitionen," sagte Chadduck. "Das Verständnis der wie solche Systeme wirksam sein können ist das Herzstück unserer Zusammenarbeit mit TACC." "

Es bleibt die Frage, ob Archivare und der Öffentlichkeit an die abstrakten Daten Vertretungen von TACC vorgeschlagenen anpassen werden.

"Ein wesentlicher Bestandteil unserer Forschung besteht darin, festzustellen, ob die Darstellung und die Daten Abstraktionen für Archivare Analysen, sinnvoll sind, wenn sie ermöglichen es ihnen, eine klare und gründliche Kenntnis der Sammlung zu haben", sagte Esteva.

Im gesamten Prozess der Forschung hat das Team TACC Feedback von Archivaren und Informatiker an der University of Texas in Austin Campus und in der Austin Community gesucht.

"Die Forschung befasst sich viele der Probleme im Zusammenhang mit der Erhaltung Komplexität der großen und vielfältigen digitalen Sammlungen zu begreifen", sagte Jennifer Lee, ein Bibliothekar an der University of Texas at Austin. "Die Fähigkeit, vielfältige Merkmale zu beurteilen und zu ausgewählten Datei-Attribute über eine umfangreiche Sammlung zu vergleichen ist ein Durchbruch."

NARA/TACC-Projekt wurde durch das Weiße Haus in ihrem Bericht an den Kongress als eine nationale Priorität für den Bundeshaushalt 2011 Technik hervorgehoben. Die Forscher stellten ihre Ergebnisse auf der 6th International Digital Curation Conference und der 2010 Joint Conference on Digital Libraries.

Datensammlungen größer werden, sind neue Möglichkeiten zum Anzeigen und interagieren mit den Daten erforderlich. Derzeit baut TACC eine wandelbare Multitouch-Display um die Interaktivität und die kollaborative Aspekte der Archivierung Analyse zu verbessern. Das neue System ermöglicht es mehreren Benutzern Daten gleichzeitig zu durchsuchen, während der Diskussion seine Bedeutung.

"Was heute Forschungsdirektor TACC bildet schließlich integriert Cyberinfrastructure des Landes, an welcher Stelle es wird an der Tagesordnung," sagte Chadduck. "Auf diese Weise TACC bietet meiner Meinung ein Fenster auf die Archive der Zukunft ist."

Anmerkung der Redaktion: Dieser Forschung wurde unterstützt von der National Science Foundation (NSF), die Bundesagentur mit der Finanzierung von Grundlagenforschung und Ausbildung in allen Bereichen der Wissenschaft und Technik beauftragt. Meinungen, Erkenntnisse und Schlussfolgerungen oder Empfehlungen ausgedrückt in diesem Material sind die des Autors und spiegeln nicht unbedingt die Ansichten von der National Science Foundation. Siehe die hinter die Kulissen-Archiv.