CKAN Exporter: LoRaWAN-Daten als CSV in CKAN veröffentlichen

Kurz erklärt: Unser CKAN Exporter überführt Sensordaten in diesem Fall Bodenfeuchtigkeitssensoren aus ThingsBoard CE v4.0.1 automatisiert in den CKAN DataStore – sauber strukturiert, ohne Duplikate und planbar im gewünschten Intervall. Basis ist ein Node-RED-Flow, der Telemetrie pro Gerät sammelt, als CSV aufbereitet und in CKAN upsertet.

Was der Exporter leistet

• Quelle → Ziel: ThingsBoard (Geräte, Attribute, Telemetrie) → CKAN DataStore (eine Ressource je Gerät, benannt nach DevEUI)

• Schema & Felder: Eine Zeile pro Tag mit Timestamp, BF10, BF30, BF60, BF80 (Bodenfeuchte in 10/30/60/80 cm); optional auch Bodentemperatur in diesen Tiefen.

• Keine Duplikate: Timestamp ist Primärschlüssel – vorhandene Zeilen werden aktualisiert (Upsert), neue hinzugefügt.

• Ressourcen-Handling: Existiert die Ressource nicht, erzeugt der Flow Ressource und Schema automatisch und lädt die Daten anschließend hoch.

Praxisnutzen: Kommunen, Forschung und Betriebe publizieren Messreihen (z. B. Bodenfeuchte, Klima) verlässlich in Open-Data-Portalen auf CKAN-Basis – reproduzierbar, versionierbar und maschinenlesbar.

So funktioniert es – in Kürze

1. Geräte finden & filtern
   Der Flow liest die Geräteliste aus ThingsBoard und gruppiert nach Gerätetyp (z. B. Dragino, miniUNI, senseBox). Exportiert werden nur Geräte mit dem Attribut map = true.

2. Telemetrie abrufen
   Abfrage der Tagesdurchschnitte für die relevanten Messgrößen; fehlende Tageswerte bleiben leer.

3. CSV erzeugen
   Messwerte werden tagesscharf ausgerichtet und als CSV vorbereitet.

4. CKAN-Upsert
   Pro Gerät: Ressource per DevEUI adressieren/erstellen, Upsert mit Timestamp als Key – so entstehen keine Duplikate.

Betrieb: Zeitplanung, Logs, Fehlersuche

• Zeitplanung: Manuell, wöchentlich oder monatlich triggerbar.

• Protokollierung: HTTP-Status, CKAN-Antworten und Warnungen werden geloggt.

Erweiterbar für neue Gerätetypen

Der Flow lässt sich schnell auf weitere Geräteprofile anpassen. In der Filter-Function werden neue Arrays/Conditions angelegt und als zusätzliche Outputs zurückgegeben; anschließend wird der nachgelagerte Pfad dupliziert. In der Doku stehen dazu Code-Snippets (Seite 4–5) mit den notwendigen Änderungen und Output-Erhöhungen.

Für wen eignet sich der CKAN Exporter?

• Kommunen & Smart-City-Projekte: Regelmäßige Veröffentlichung von Umwelt- und Infrastruktur-Daten.

• Forschung & Bildung: Saubere, tagesaggregierte Zeitreihen für Analysen und Open-Data-Portale.

• Unternehmen: Transparente Berichte für Nachhaltigkeit, Monitoring und Compliance.

Nächste Schritte

• Demo anfragen: Wir zeigen den Node-RED-Flow live mit ThingsBoard- und CKAN-Anbindung.

• Integration buchen: Wir übernehmen Einrichtung, Schema-Definition, Security und Monitoring.

• Optional: Betrieb in Ihrer Umgebung oder als gemanagte Instanz.