Datenkonzept
Das Datenkonzept beschreibt den ganzheitlichen Ansatz, wie die UDSP Daten aufnimmt, sammelt, speichert, verwaltet, schützt, nutzt und ausspielt.
Daten, die von außen über externe Datenquellen in die Plattform gelangen, durchlaufen Datenpipelines mit folgenden Stufen:
Daten können außerdem innerhalb der Plattform entstehen, etwa durch Verschneidung, Verdichtung oder fachliche Aufbereitung vorhandener Daten. Die UDSP unterscheidet dabei zwischen quellnahen Datensätzen und veredelten Datenprodukten.
In der Regel werden Daten bei der Integration einem standardisierten Datenmodell zugeordnet. Für semantische Kontextdaten kommen insbesondere NGSI-LD und Smart Data Models zum Einsatz. Metadaten und Kataloginformationen werden an DCAT-AP.de ausgerichtet.
Die Datenhaltung erfolgt in definierten Datenräumen, die man sich wie fachlich und technisch abgegrenzte Container vorstellen kann. Je Datenraum können unterschiedlich viele Datensätze oder Datenprodukte gespeichert werden. Für den Zugriff auf Daten innerhalb eines Datenraums muss ein Nutzer auf den jeweiligen Datenraum berechtigt sein.
Ein weiterer Bestandteil des Datenkonzepts ist das Datenmonitoring. Es beschreibt, wie Aktualität, Liefertreue, Integrationsfehler und sensornahe Störungen entlang der Pipeline sichtbar gemacht werden.
Die kontrollierte Freigabe von Daten für öffentliche Nutzung wird im Abschnitt Open Data beschrieben. Dort geht es um Freigabestatus, Metadaten, rechtliche Prüfung und die technische Bereitstellung über den Katalog- und Open-Data-Stack.
Leitgedanken des Datenkonzepts
- Einmal anbinden, mehrfach nutzen — Datenquellen werden möglichst nur einmal integriert und anschließend für mehrere Zielsysteme wiederverwendet.
- Rohdaten von kuratierten Daten trennen — nicht jede eingehende Information wird sofort als öffentlich oder fachlich nutzbarer Datensatz bereitgestellt.
- Semantik vor Insellösungen — Daten werden auf gemeinsame Modelle, Begriffe und Kontexte abgebildet.
- Datenqualität sichtbar machen — Validierungen, Plausibilisierungen und Fehlerpfade sind Teil der Integrationslogik.
- Aktualität und Liefertreue überwachen — Datenmonitoring betrachtet Quellen, Integrationsstrecken, Datenprodukte und Sensorik als Teil der Plattformlogik.
- Governance technisch unterstützen — Herkunft, Transformationsschritte, Zuständigkeiten und Freigaben sollen nachvollziehbar bleiben.
- Öffentliche Freigabe kontrolliert umsetzen — nicht jedes Datenprodukt ist automatisch für Open Data geeignet; Veröffentlichung braucht klare Regeln, Metadaten und Verantwortung.
Speicher- und Bereitstellungsebenen
Je nach Datenart und Nutzungsziel werden unterschiedliche Speicher- und Bereitstellungsebenen genutzt:
- Objektspeicher für Dateien und nicht relational überführte Rohdaten
- PostgreSQL mit TimescaleDB und PostGIS für relationale, zeitliche und räumliche Datenhaltung
- Stellio Context Broker als kuratierte NGSI-LD-Schicht für standardisierte Kontextdaten
- Fachanwendungs- und Bereitstellungsschicht für Dashboards, Geodienste, APIs und Open Data
Daten können über verschiedene Kanäle ausgegeben werden, etwa über Komponenten aus dem Application Stack oder über standardisierte APIs. Überall dort, wo Daten bereitgestellt werden, unterliegt der Zugriff den Konzepten zur Authentifizierung.