Methodik

Der Datensatz entsteht, indem Informationen aus den Inhaltsübersichten der deutschen Parlamentsarchive extrahiert, mit dem DIP kombiniert und um weitere Quellen angereichert werden.

Dokumente der Parlamentsarchive

Die relevanten Daten wurden aus den Inhaltsübersichten der Archive extrahiert. Möglich war dies, weil die Übersichten einer ähnlichen Struktur folgen und jeweils die gleichen Informationstypen enthalten (auch wenn sich Layout und Abstände im Zeitverlauf unterscheiden). Jede Übersicht enthält:

• ein Titelblatt mit Metainformationen zum Verfahren (z. B. Titel oder die Kennnummern von Bundestag/Bundesrat);
• eine Liste der beteiligten Ausschüsse und ihrer Rolle im Verfahren;
• eine Liste des Gesetzgebungsmaterials mit Datum, jeweiligen Akteuren sowie Inhalt und Ergebnis (gruppiert nach allgemeinen Phasen und innerhalb dieser nach Arbeitsschritten sortiert); und
• Zusatzmaterial wie etwa Pressemitteilungen.

Gesetzgebungs- und Zusatzmaterial sind — über fortlaufende Nummern — entlang der zeitlichen Reihenfolge ihrer Position im Verfahren geordnet. Diese Dokumentation liegt in einer impliziten tabellarischen Form vor, wobei die Einträge eine interne Hierarchie besitzen, ähnlich einer Baumstruktur.

Aus den Inhaltsübersichten der Archive

Die Dokumente wurden maschinenlesbar gemacht — von PDF über CSV zu JSON. Die Rohdaten der PDF-Dokumente wurden in zwei automatisierten Schritten extrahiert und transformiert, gefolgt von einer manuellen Bereinigung sowie einer manuellen und automatisierten Konsistenzprüfung gegen die Original-PDF-Daten.

Die Daten der PDF-Dokumente wurden mittels eines cloudbasierten Dienstes in das CSV-Format überführt. Auch wenn die Extraktion brauchbare Ergebnisse lieferte, blieben Abweichungen in der tabellarischen Darstellung bestehen — etwa durch falsch erkannte Spalten oder Zeilen —, und die Beziehungen zwischen den Einträgen sind im CSV nicht abgebildet. Ein zweiter, deutlich komplexerer Schritt ist daher notwendig: Struktur und Beziehungen aller Informationen im PDF werden über ein JSON-Schema formalisiert, das Dokumentaufbau und Inhaltstypen erfasst.

Die Transformation trennt:

• die allgemeinen Informationen des Verfahrens,
• die beteiligten Ausschüsse,
• die Gesetzgebungsmaterialien (nach fortlaufenden Nummern sortiert) und
• das Zusatzmaterial.

Sie beruht auf regulären Ausdrücken, die Anfang oder Ende eines Abschnitts markieren, sowie auf Regeln für die tabellarische Form und kontextuelle Bezüge. Das Gesetzgebungsmaterial ist der schwierigste Teil des Dokuments: Alle verantwortlichen Institutionen müssen korrekt identifiziert und alle fortlaufenden Nummern der richtigen Institution zugeordnet werden. Zeilen, die nicht zugeordnet werden können, werden in eine Fehlerausgabe geschrieben — für manuelle Kontrolle und Debugging.

Schemakonforme Dokumente lassen sich mit zwei Editoren weiter verfeinern: einem aus dem JSON-Schema generierten formularbasierten Editor (der syntaktisch gültige Dokumente sicherstellt) und einem textbasierten JSON-Editor (der bei Schemaverletzungen warnt).

Aus dem DIP (Bundestag)

Die Parlamentsdokumentation bietet über das Dokumentations- und Informationssystem (DIP) Zugang zu einer Datenbank mit Gesetzgebungsmaterial (Texte, Plenarprotokolle usw.) aller eingebrachten Entwürfe — ein gemeinsames Informationssystem von Bundestag und Bundesrat. Es dokumentiert die Vorgänge beider Kammern, wie in Drucksachen und stenografischen Berichten festgehalten, und lässt sich im XML-Format abrufen und exportieren.

Aus weiteren Quellen

Um Ursachen und Wirkungen der Zeitlichkeit einer Legislatur zu analysieren, fließen weitere Informationen in die Datenbank ein:

• Koalitionen auf Bundes- und Landesebene,
• Wahltermine.