Das Projekt ist beendet. Diese Seite wird nicht mehr laufend aktualisiert! Die Landkarte spiegelt den Stand vom 19.12.2014 wider. Aktualisierte Daten werden auf beta.offenedaten.de bereitgestellt.
Willkommen auf den Seiten des Projekts

Ein Projekt des Instituts für Informationsmanagement Bremen (ifib) und der Open Knowledge Foundation Deutschland, mit finanzieller Unterstützung der Bundeszentrale für politische Bildung.

Auf diesen Seiten erhielten Sie von April bis Dezember 2014 einen stets aktuellen Einblick in die laufende Arbeit eines Projekts, das versucht hat, einen Überblick über die Angebote offener Verwaltungsdaten (englisch Open Government Data oder kurz OGD) in Deutschland unter besonderer Berücksichtigung der kommunalen Ebene zu erstellen.

Der Prototyp des gemeinsamen Datenportals für Deutschland govdata.de erfasst zwar die Bundes- und Landesebene relativ gut. Bisher haben dort aber nicht einmal 30 Städte ihre OGD-Angebote registriert. Und es ist nicht möglich, für ein bestimmtes Themengebiet festzustellen, welche Kommunen dazu offene Daten anbieten. Genau dies aber möchten Journalisten, Wissenschaftler, Studierende und auch App Entwickler gerne wissen, um die Angebote verschiedener Städte zu einem Thema nutzen und insbesondere vergleichen zu können.

Die Erfahrung zeigt, dass eine weitgehende Vollständigkeit eines Portals nicht zustande kommt, wenn man reaktiv wartet, bis sich potenzielle Datenlieferanten melden und registrieren. Wenn man einen guten Überblick schaffen will, muss man auch in diesem Fall pro-aktiv nach OGD-Angeboten suchen und diese selbst aufbereiten und u.a. Themengebieten zuordnen. Dies ist mit erheblichem Aufwand verbunden, den bisher niemand zu leisten bereit war.

Dieser Aufwand ist vor allem deswegen so groß, weil nur ein Teil der kommunalen Datenportale strukturierte Datenkataloge hat und diese mangels Standardisierung auch nicht unmittelbar vergleichbar sind. Mit einer finanziellen Unterstützung der Bundeszentrale für politische Bildung konnte in dem Projekt erprobt werden, wie ein möglichst vollständiger Überblick über kommunale OGD-Angebote mit einer thematischen Aufschlüsselung erstellt werden kann. Dazu mussten angesichts der Vielfältigkeit der kommunalen Angebote unterschiedliche Werkzeuge eingesetzt und schrittweise verfeinert werden.

Mehr zum Hintergrund, Ansatz und den Perspektiven des Projekts finden Sie hier.

Bitte beachten Sie die Erläuterungen zu den Zahlenangaben bei der Karte.

Unter Berichte finden Sie Publikationen zu dem Projekt und eine Dokumentation zu den eingesetzten Methoden und den damit gemachten Erfahrungen werden dokumentiert.

Wir prüfen die automatisch generierten Angaben manuell, können aber weder Vollständigkeit noch Korrektheit garantieren und sind auf Feedback angewiesen. Wenn Sie Fehler feststellen oder Ergänzungen vorschlagen wollen, können Sie dies zu jedem erfaßten Angebot direkt machen.

Wenn Sie Fragen oder Kommentare zum Projekt insgesamt haben, teilen Sie uns diese bitte über Email mit. Der erfasste Datenbestand und die Open Data-Landkarte sind zu beta.offenedaten.de umgezogen. Dort kann Feedback (Hinweise auf Fehler, Ergänzungen etc.) zu jedem erfassten Datensatz direkt abgegeben werden.

Ziel des Vorhabens

Ziel dieses Projektes ist es herauszufinden, wie man mit vertretbarem Aufwand einen möglichst vollständigen Überblick über die Angebote offener Daten von möglichst vielen Stellen im öffentlichen Sektor in Deutschland (11.191 Gemeinden, mehrere Dutzend Landesbehörden pro Bundesland, Bundesbehörden und öffentliche Unternehmen auf allen drei Ebenen) zu verschiedenen Themengebieten gewinnen und nutzergerecht durchsuchbar machen kann.

Adressaten sind in erster Linie Studierende, Wissenschaftler und Journalisten sowie App-Entwickler, die wissen wollen, welche Gebietskörperschaften Offene Daten zu einem bestimmten Themengebiet anbieten.

Anlass: Kein Überblick über kommunale Angebote

Wenn Wissenschaftler, Studierende oder Journalisten zu einem Thema mit kommunalem Bezug auf offene Daten zugreifen wollen, gibt es heute keinen einfachen und zuverlässigen Weg um festzustellen, welche Kommunen offene Daten zu dem jeweiligen Themengebiet anbieten. Auch viele App Entwickler wollen Apps mit Daten aus mehreren Städten erstellen und müssen diese einzeln abfragen.

Der Prototyp des gemeinsamen Datenportals für Deutschland govdata.de erfasst zwar die Bundes- und Landesebene relativ gut. Bisher haben dort aber nicht einmal 30 Städte ihre OGD-Angebote registriert. Und es ist nicht möglich, für ein bestimmtes Themengebiet festzustellen, welche Kommunen dazu offene Daten anbieten.

Dies liegt daran, dass es keine einfache und erst recht keine automatisierte Methode gibt, um Angebote der über 11.000 Kommunen zu finden und thematisch zuzuordnen.

Nach der reinen OGD-Lehre sollte es einfach sein: Ein kommunales OGD Angebot einer Stadt sollte über einen strukturierten Datenkatalog mit vollständig ausgefüllten Metadaten verfügen, die über eine API auslesbar sind. Ein zentrales Meta-Portal könnte dann diese Kataloge auslesen und die Ergebnisse integrieren.

Doch die reale OGD-Welt sieht anders aus. Nur wenige Datenportale haben Datenkataloge und diese sind sehr verschieden aufgebaut und die Metadaten von sehr unterschiedlicher Qualität.

Ansatz: Pro-aktive Suche mit einer Kombination verschiedener Tools

Angesichts der großen Heterogenität der OGD-Angebote auf kommunaler Eben müssen zuerst geeignete Methoden zum Finden und Auswerten der OGD-Angebote entwickelt werden. Dies haben wir in den ersten drei Monaten für eine Auswahl von 12 Städten getan. Wir haben
  • vorhanden Datenkataloge ausgewertet
  • in den Indices der Suchmaschinen Google und Bing gesucht und
  • verschiedene Crawler entwickelt und direkt auf den Webseiten der Städte und Gemeinden nach bestimmten Datenformaten gesucht.
Oft werden bei neu untersuchten Städte neue Anpassungen und Verfeinerungen erfordert. Und alle Treffer (außerhalb des Katalogs) müssen manuell geprüft werden, ob es sich um relevante Datensätze handelt, unter welchen Lizenzen sie veröffentlicht wurden und welchem Themengebiet sie zuzuordnen sind. Ein wesentliches Ziel dieses Projektes ist es, diese Tools schrittweise so zu verbessern, dass die manuelle Nachbearbeitung minimiert wird.

Erkenntnisse

Die Erkenntnisse aus der Sammlung und Auswertung der OGD-Angebote sind in einem Projektbericht dokumentiert. Wir haben mit großem Aufwand und viel manueller Nachbearbeitung die Trefferlisten der verschiedenen Verfahren verglichen und festgestellt, dass sich diese nur teilweise decken. Google und Bing finden lange nicht alle Datensätze, die in einem Katalog enthalten sind. Und unsere Crawler finden auf anderen Seiten einer kommunalen Domain Datensätze, die nicht im Katalog derselben Stadt registriert sind.

Daraus folgt die dringende Empfehlung, dass möglichst alle Portalbetreiber einen Datenkatalog einsetzen, der einen automatisierten Zugriff sowohl auf die Daten als auch die Metadaten mittels standardisierter Schnittstellen (JSON API, RSS sowie ein täglich aktualisier JSON Dump). Auch die Metadaten sollten vereinheitlicht und deren Qualität insgesamt verbessert werden. Darüber hinaus können Betreiber selbst mit einem Crawler die "wilden" Daten-Angebote auf den Webseiten ihrer Stadt identifizieren und in das offizielle OGD-Angebot integrieren. Dabei sollten auch die Nutzungsbedingungen dieser außerhalb der Datenportale veröffentlichten Datensätze geklärt und explizit genannt werden.

Warum Förderung durch die Bundeszentrale für politische Bildung

Bisher war niemand bereit, den Aufwand für eine pro-aktive Suche und redaktionelle Prüfung kommunaler OGD Angebote zu leisten. Auf der Suche nach einer möglichen Förderung sind wir auf die Bundeszentrale für politische Bildung gestoßen. Sie hat vor einigen Jahren schon einmal die Entwicklung einer Landkarte der Bürgerhaushalte in Deutschland finanziert (http://www.buergerhaushalt.org/de/map) und einen ähnlichen Bedarf nach einem Überblick über Angebote Offener Daten anerkannt. Wir bedanken uns für eine 50-prozentige Förderung des Aufwands für die Entwicklung des Prototypen.

Projektantrag bei der Bundeszentrale für politische Bildung

Keine Konkurrenz zu govdata.de und den Landesportalen

Da die bpb zum Bereich des Bundesinnenministeriums gehört, das auch den Prototypen von govdata.de betreibt, ist die klare Vorgabe, dass kein neues Portal in Konkurrenz aufgebaut wird. Die Entwicklung des Prototypen ist ein Experiment, in dem ermittelt werden soll, wie die noch vorhandene Lücke auf der kommunalen Ebene mit möglichst geringem Aufwand geschlossen werden kann. Alle hier erfassten Datenangebote sollen später in govdata.de überführt werden oder in die jeweiligen Landesportale und von dort an govdata.de weitergereicht werden. Die Gelegenheit dazu bietet sich an, da govdata.de demnächst in den Regelbetrieb überführt werden soll, dazu neu ausgeschrieben wird und in Zukunft von einer neuen Geschäftsstelle geführt werden soll.

Aktueller Datenbestand

Veröffentlichungen, Präsentation und Blog Posts

Kubicek, Herbert; Lippa, Barbara (2015b): Open Data: Appelle reichen nicht. In: Kommune 21 5/2015, S. 12-13

Kubicek, Herbert; Lippa, Barbara (2015a): Open Data: Kommunale Krux. In: Kommune 21 4/2015, S. 12-13

Lippa, Barbara; Kubicek, Herbert; Fullerton, Matthew; Dietrich, Daniel (2015): Offene Daten im Öffentlichen Bereich 2014. Bericht über den Aufbau einer Datenbank mit den auffindbaren Angeboten deutscher Kommunen und Bundesländer www.open-data-map.de. Bremen.

Kubicek, Herbert; Lippa, Barbara; Dietrich, Daniel; Fullerton, Matthew: Hinter den Leuchttürmen - Auf dem Weg zu einer möglichst vollständigen Erfassung von kommunalen OGD-Angeboten - Werkstattbericht aus dem ifib/OKF-Projekt "Open Data Monitor". OGD - D-A-CH-LI-Konferenz, 6./7. August 2014 in Friedrichshafen (2014)

Kubicek, Herbert: Damit offene Daten besser gefunden werden. Ifib-Blog 8.8.2014

Quellcode

Der Quellcode für die Suche mittels Bing, Crawling (siehe Unten) und das Auslesen von Datenkatalogen kann auf GitHub eingesehen werden. Alle sind herzlich eingeladen, an Verbesserungen mitzuarbeiten!

Crawling

Wenn Sie selbst Web-Seiten nach OGD-Formaten durchsuchen wollen oder als Betreiber eines OGD Portals sehen wollen, ob es auf anderen Webseiten Ihrer Organisation noch OGD-Angebote gibt, die nicht in Ihrem Katalog registriert sind, kann man einen Web-Crawler einsetzen. Ein Crawler startet in der Regel auf der Hauptseite und folgt allen gefunden Links. Wir untersuchen sowohl herunterladbare Dateien als auch alle Links auf HTML-Seiten. Es werden drei verschiedene Arten von Crawls getestet:

  1. Einen eigenen Crawler anhand des Scrapy-Frameworks: liefert Ergebnisse kontinuerlich sobald gefunden
  2. Komplette Crawls mittels Heritrix Engine (die gleiche Software, die hinter archive.org steht), deren Ergebnisse dann nach OGD Inhalten durchsucht wird
  3. Komplette Crawls von dem Common Crawl Corpus, deren Ergebnisse heruntergeladen und anschließend nach OGD Inhalt durchsucht werden
Technische Details zu den drei Methoden werden auf GitHub veröffentlicht.




Alle auswählen
Alle auswählen
Alle auswählen
Alle auswählen
Search

Ergebnisse

Projektleitung: Prof. Dr. Herbert Kubicek

Am Fallturm 1
28359 Bremen
Tel.:+49 421-2182830
Fax: +49 421-2184894
E-Mail: info@ifib.de

Ansprechpartner in technischen Fragen
Open Knowledge Foundation Deutschland
Singerstr. 109
10179 Berlin
Telefon: +49 30 57703666 2
Fax: +49 30 57703666 9
E-Mail: info@okfn.de

Verantwortlich im Sinne des Teledienstegesetzes und Medienstaatsvertrages: ifib: Institut für Informationsmanagement Bremen GmbH.

Am Fallturm 1
28359 Bremen
Telefon: +49 421 218-56580
Telefax: +49 421 218-56599
E-Mail: info@ifib.de

Vertretungsberechtigter Geschäftsführer:
Prof. Dr. Andreas Breiter
Registergericht: Amtsgericht Bremen
Registernummer: HRA 21271

Inhaltlich verantwortlich gem. § 55 Abs. 2 RStV:
Prof. Dr. Andreas Breiter

Technische Umsetzung: Open Knowledge Foundation Deutschland
Daniel Dietrich
Singerstr. 109
10179 Berlin
Telefon: +49 30 57703666 2
Fax: +49 30 57703666 9
E-Mail: info@okfn.de

Registergericht: Amtsgericht Charlottenburg
Vereinsregisternummer: VR 30468 B

Haftungsausschluss
Die Inhalte dieser Seiten sind nach bestem Wissen und Gewissen zusammengestellt. Jedoch kann kein Anspruch auf Vollständigkeit erhoben werden. Die Inhalte fremder Webseiten, auf die mittels eines Hyperlinks verwiesen wird, sowie die Inhalte von Kommentaren, werden geprüft und Beschwerden wird unverzüglich nachgegangen.
Soweit auf das Internetangebot des ifib zugegriffen wird, wird auf dem Web-Server (Fa. WebMen Internet GmbH, Bremen) ein Datensatz gespeichert.

Folgender Datensatz wird hierbei zur Verfügung gestellt:
    der Rechneradresse (IP-Adresse) der Seite, von der aus die Datei angefordert wurde dem Namen der Datei dem Datum und der Uhrzeit der Abfrage der übertragenen Datenmenge dem Zugriffsstatus (Datei übertragen, Datei nicht gefunden etc.) und einer Beschreibung des Typs des verwendeten Webbrowsers

Diese Daten werden ausschließlich zu statistischen Zwecken ausgewertet; ein Personenbezug wird dabei nicht hergestellt. Im Rahmen der Bereitstellung dieses Internetangebotes werden keine Cookies verwendet. Es werden auch keine anderen Techniken verwendet, die dazu dienen, das Zugriffsverhalten der Nutzer nachvollziehen zu können.

Im Weblog des ifib besteht die Möglichkeit, Beiträge zu kommentieren. Es ist Ihnen freigestellt, ob sie Ihrem Beitrag personenbezogene Angaben wie Name oder E-Mail-Adresse hinzufügen. Zur Vermeidung von Kommentarspam wird bei der Entgegennahme von Kommentaren die IP-Adresse des absendenden Rechners übermittelt und für die Dauer von sechs Monaten gespeichert. Sofern Sie den Kommentar mit personenbezogenen Daten versehen haben, werden diese für die gesamte Veröffentlichungszeit des kommentierten Beitrags im Internet bereit gestellt. Die Löschung eigener Kommentare kann beim Datenschutzbeauftragten formlos beantragt werden.

Auskunftsrecht
Gemäß § 19 des Bundesdatenschutzgesetzes haben Sie als Nutzerin und Nutzer das Recht, jederzeit Auskunft darüber zu verlangen:

  • welche Daten über Sie bei uns gespeichert sind und
  • zu welchem Zweck diese Speicherung erfolgt.

Verantwortlich für die Einhaltung und Kontrolle unserer Datenschutzpflichten und für entsprechende Auskünfte ist unser Datenschutzbeauftragter:

Prof. Dr. Herbert Kubicek
Institut für Informationsmanagement Bremen Gmbh (ifib)
Am Fallturm 1
D-28359 Bremen
E-Mail: kubicek@ifib.de