Stage-oe-small.jpg

LSDMA

Aus Aifbportal
Wechseln zu:Navigation, Suche
LSDMA Logo.png

Large-Scale Data Management and Analysis


Kontaktperson: Fabian Rigoll

http://www.helmholtz-lsdma.de/



Projektstatus: abgeschlossen


Beschreibung

Im Rahmen des Programms „Wissenschaftliches Rechnen“ wurden 2009 erste Schritte im Hinblick auf eine Large Scale Data Facility (LSDF) eingeleitet. Mit einer initialen Investition wurde eine prototypische Datenspeicherung aufgebaut und darin erste Daten vom Institut für Toxikologie und Genetik abgelegt. Das Arbeitsgebiet Large-Scale Data Management & Analysis wird in den nächsten Jahren einen Schwerpunkt der wissenschaftlichen Arbeiten im SCC bilden. Dafür ist die LSDF auch im Hinblick auf Data Intensive Computing und Datenanalyse, beides beinhaltet Schwerpunkte der Arbeiten in den neu gegründeten Simulation Labs des SCC, die ideale Plattform.

Im KIT haben die Institute ITG, ANKA, IMK und IMF dringenden Bedarf an Speicherung und Management von großen Datenmengen angemeldet. Zur Bearbeitung der wissenschaftlichen Themen besteht eine enge Zusammenarbeit mit den Instituten IPE und IAI, sowie mit Industriepartnern. Dabei sind die folgenden Themen hautsächlich im Fokus:

  • Langzeitarchivierung und Integrität
  • Effektive Übertragung und Verwaltung von Milliarden von Files (unified namespace)
  • Information Life Cycle der Daten
  • Performanter Transport zwischen den Storage Klassen (autom. Workflows)
  • Entwicklung von Schnittstellen zur LSDF und Anzeige der Datenstrukturen im Browser
  • Datenanalyse und Entwicklung von Datenanalyse Tools, effektive Bildverarbeitung
  • Entwicklung von Methoden und Werkzeugen im Hinblick auf Data Intensive Computing

Außerhalb des KIT besteht eine Kooperation mit Bioquant an der Universität Heidelberg. Im Rahmen dieser Kooperation erhält das SCC eine Förderung vom MWK in Stuttgart in einer Größenordnung von 6 PB Plattenspeicher (2010 -2012), der auch zur Datenspeicherung für die Baden Württembergischen Hochschulen (Landeskonzept) zur Verfügung gestellt werden wird. Die LSDF im SCC soll innerhalb der HGF zu einer von allen Forschungseinrichtungen universell nutzbaren zentralen Ressource zur Datenspeicherung ausgebaut werden. (Quelle: http://www.scc.kit.edu/forschung/lsdf.php)


Involvierte Personen
Fabian RigollHartmut Schmeck


Informationen

von: 1 Januar 2012
bis: 31 Dezember 2016


Forschungsgruppe

Effiziente Algorithmen


Forschungsgebiet

LSDMA (Energieinformatik)



Tools

Energy Smart Home Lab



Publikationen zum Projekt
 - book
 - booklet
 - proceedings
 - phdthesis
 - techreport
 - deliverable
 - manual
 - misc
 - unpublished






article
Christopher J, M Gasthuber, A Giesler, M Hardt, J Meyer, A Prabhune, Fabian Rigoll, K Schwarz, A Streit
Progress in Multi-Disciplinary Data Life Cycle Management
Journal of Physics: Conference Series, 664, (3), Seiten 032018, 2015
(Details)


↑ top

inproceedings
Christopher Jung, Sören Fleischer, Martin Gasthuber, Andre Giesler, Marcus Hardt, Jörg Meyer, Fabian Rigoll, Rainer Stotzka, Max Fischer, Achim Streit
Advancing data management and analysis in different scientific disciplines
Proceedings of CHEP 2016, Proceedings of CHEP 2016, Oktober, 2016
(Details)


Christopher Jung, M. Gasthuber, A. Giesler, M. Hardt, J. Meyer, Fabian Rigoll, K. Schwarz, R. Stotzka, A. Streit
Optimization of data life cycles
Int. Conf. on Computing in High Energy and Nuclear Physics, 2013, Journal of Physics: Conference Series
(Details)


↑ top

incollection
Fabian Rigoll, Hartmut Schmeck
A Concept for a User-oriented Energy Data Management System
In Christopher Jung, Jörg Meyer, Achim Streit, Helmholtz portfolio theme large-scale data management and analysis (LSDMA), Seiten 23-39, KIT Scientific Publishing, Karlsruhe, 2017
(Details)


↑ top