Wegweiser im Aktendschungel: Wie das KI-Tool Haystack Verwaltung und Verteidigung entlastet

„Für eine Behörde reicht es nicht, dass eine KI gute Antworten gibt. Sie muss jederzeit zeigen können, woher eine Antwort kommt, und selbst entscheiden, wo und mit welchem Modell das System läuft“, sagt Milos Rusic, CEO und Mitgründer von deepset. Zudem plane der öffentliche Sektor in langen Zeiträumen. Eine Lösung solle deshalb nicht an einen Anbieter oder ein bestimmtes Sprachmodell gebunden sein und idealerweise von anderen Behörden nachgenutzt werden können.

Haystack ist darum als Open-Source-Framework angelegt: Der Code ist offen einsehbar und prüfbar, Behörden können ihn ohne Lizenzabhängigkeit einsetzen. Zudem ist das System modellunabhängig. Sprachmodelle lassen sich also austauschen, ohne die Anwendung neu zu bauen. Je nach Sicherheitsbedarf läuft es in der Cloud, im eigenen Rechenzentrum oder vollständig abgeschottet.

Ein zentrales Problem vieler Behörden ist schlicht die Menge an Regelwerken. Im Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) umfasst etwa allein das Handbuch zur Projektförderung rund 200 Seiten. Das Ministerium hat gemeinsam mit deepset, dem Berliner GovTech Campus und weiteren Partnern in sechs Monaten einen Chatbot auf Haystack-Basis entwickelt. Er beantwortet Fragen zum Handbuch in weniger als drei Sekunden. Nach Angaben von deepset nutzen die Mitarbeitenden ihn rund 1.000 Mal pro Woche, und jede Antwort enthält überprüfbare Quellenangaben.

Auf ähnliche Weise spart der Kreis Borken im Münsterland Arbeitszeit. Dort hilft ein KI-Agent auf Basis von Haystack den Sachbearbeitenden bei Anträgen auf Hilfe zur Pflege. Er sichtet bis zu 100-seitige Dokumente samt Anlagen, prüft die Vollständigkeit, bereitet die Finanzdaten für die Vermögensprüfung auf und macht Vorschläge für die behördliche Entscheidung. So entfällt rund ein Drittel der Arbeitsschritte.

Auch andere Berliner Akteure bringen KI in die Verwaltung. Das Start-up Myosotis setzt beim selben Verfahren auf der anderen Seite an: Sein Tool formfix führt Angehörige durch den Antrag auf Hilfe zur Pflege, bevor dieser das Amt erreicht. In Steglitz-Zehlendorf und Marzahn-Hellersdorf wurde es bereits erprobt. Die Anträge seien „besser aufbereitet, vollständiger und weisen eine hochwertigere Antragsreife auf“, bilanziert Tim Richter, Bezirksstadtrat für Soziales in Steglitz-Zehlendorf.

Das Land selbst stellt seinen Beschäftigten seit November 2025 einen eigenen KI-Assistenten zur Verfügung: BärGPT. Entwickelt hat ihn das CityLAB der Technologiestiftung Berlin als Open-Source-Lösung, die andere Verwaltungen nachnutzen können.

Im Verteidigungsbereich reicht das Einsatzspektrum noch weiter. In der Studie KITCH („KI für Taktik-Chat in Simulationssystemen“) haben Airbus Defence and Space und deepset ein System entwickelt, das militärische Vorschriften analysiert und Gefechtssimulationen unterstützt. Es soll Führungskräften helfen, in komplexen Einsatzszenarien bessere Entscheidungen zu treffen. Seit April 2024 ist auch die Bundeswehr an der Studie beteiligt.

Haystack funktioniert dabei nach dem Baukastenprinzip: Es bietet eine Basis, die sich mit weiteren Modellen und Komponenten an die Bedürfnisse einer Behörde oder eines Unternehmens anpassen lässt. „Souveränität heißt für uns: Eine Behörde kann ihre KI-Anwendungen zu eigenen Bedingungen bauen, betreiben und weiterentwickeln, ohne von einem Anbieter, Modell oder Stack abhängig zu sein“, so Rusic.

Diese Flexibilität zahlt sich vor allem aus, wenn sich Gesetze oder Dienstvorschriften ändern. Haystack-Systeme speichern Wissen nicht fest ein, sondern greifen bei jeder Anfrage auf die hinterlegten Dokumente zu. 

Nutzende spielen daher einfach die neue Fassung eines Dokuments ein, ein erneutes Training des Modells ist nicht nötig. Je nach Umfang stützen sich die Antworten nach wenigen Minuten bis Stunden auf den aktuellen Stand. Über Metadaten wie Gültigkeitsdaten lässt sich zudem steuern, welche Fassung für welchen Zeitraum gilt.

Fehlerfrei ist aber auch ein quellenbasiertes System nicht. Halluzinationen können entstehen, wenn:

• die Suche die falschen Textstellen findet,
• Dokumente veraltet oder widersprüchlich sind,
• eine Frage gar nicht abgedeckt ist und das Modell die Lücke mit eigenem Wissen füllt.

deepset begegnet dem auf mehreren Ebenen. Das System ist angewiesen, ausschließlich auf Basis der gefundenen Quellen zu antworten und offen zu sagen, wenn es keine Antwort findet. Jede Aussage verweist auf konkrete Textstellen. Außerdem misst die Haystack Enterprise Platform laufend, wie gut die Antworten in ihren Quellen verankert sind.

Besonders sensibel bleibt die Frage, wie weit KI im militärischen Kontext gehen darf. Technisch ist Haystack in allen Bereichen einsetzbar, von Lagebild und Aufklärung über Planung bis zur Logistik. „Je größer die Tragweite einer Entscheidung, desto stärker muss der Mensch eingebunden sein“, sagt Rusic. 

KI könne Dokumente durchsuchen, Daten aufbereiten und Informationen in einen Kontext setzen. „Wo es um den Einsatz von Gewalt geht, gehört die Entscheidung immer zu einem Menschen.“

Die Beispiele zeigen: KI kann Verwaltung und Verteidigung spürbar entlasten, wenn Architektur und Spielregeln stimmen. Davon profitieren nicht nur Behörden, denn dieselben Anforderungen an Nachvollziehbarkeit und Datenhoheit gelten auch für Banken, Versicherungen oder das Gesundheitswesen. Ein Grundsatz bleibt dabei überall gleich: Die Verantwortung für das Arbeitsergebnis trägt der Mensch.