Ein Bot als neuer Kollege auf dem Amt – KI für die Darmstädter Verwaltung

Hintergrund

In den kommenden zehn Jahren werden etwa 30 % der Belegschaft in der Verwaltung in den Ruhestand gehen. Gleichzeitig werden die Aufgaben der Verwaltung vielfältiger und der demografische Wandel erschwert die Gewinnung qualifizierter Fachkräfte zunehmend. All das führt dazu, dass bei gleichbleibender oder sogar sinkender Personaldichte ein höheres Arbeitsvolumen bewältigt werden muss. Wie sehr das die Verwaltung unter Druck setzt, ist bereits heute deutlich spürbar: überlastete Mitarbeitende, langwierige Prozesse und Schwierigkeiten für Bürger*innen, Termine zu erhalten. Um diesen Herausforderungen zu begegnen, ist eine Optimierung und Digitalisierung der Verwaltungsprozesse unerlässlich. Hierbei können sogenannte moderne Sprachmodelle einen wertvollen Beitrag leisten. 

Was sind Sprachmodelle?

Sprachmodelle sind eine Form der sogenannten Künstlichen Intelligenz (KI), die entwickelt wurden, um natürliche Sprache zu verstehen, zu generieren und zu verarbeiten. Sie können z. B. reine Zahlen aus einer Excel-Datei auslesen und das Ergebnis in einem Bericht in Worte fassen.

In den letzten Jahren wurden erhebliche technische Fortschritte im Bereich KI und insbesondere bei Sprachmodellen gemacht. Die Veröffentlichung von ChatGPT ist wohl der öffentlichkeitswirksamste Meilenstein dieser Entwicklung. Die Technologie, die ChatGPT und die letzte Welle an KI-Fortschritten ermöglicht hat, sind Large Language Models (LLMs). Diese Sprachmodelle sind auf großen Datenmengen trainiert und können für einen bestimmten Eingabetext (Prompt) die wahrscheinlichsten darauf folgenden Wörter vorhersagen. Diese Modelle können somit Fragen beantworten, Texte schreiben oder zusammenfassen und sogar logische Schlussfolgerungen aus bereitgestellten Informationen ziehen.

Seit der Veröffentlichung von ChatGPT sind Chatbots und andere Software, die auf LLMs basieren, immer populärer geworden und haben mittlerweile das Privatleben und den Arbeitsalltag sehr vieler Menschen erreicht – ChatGPT alleine hatte im September 2023 über 180 Millionen Nutzende. Bei sprach-fokussierten Aufgaben können LLMs bei gleichbleibender oder sogar verbesserter Qualität schon Produktivitätsgewinne von bis zu 37 % erreichen, wie ein Experiment und Arbeitspapier der MIT Sloan School of Management zeigt. Weitere Studien und Arbeitspapiere kommen zu ähnlichen Ergebnissen: So fand ein Arbeitspapier des National Bureau of Economic Research aus dem Jahr 2023, dass durch eine KI-Assistenz die Produktivität im Kundenservice im Schnitt um 14 % gesteigert wurde. Im selben Jahr zeigte ein Experiment, dass die Produktivität bei Programmieraufgaben in der Testgruppe um 55,8 % höher war als in der Kontrollgruppe. Insofern ist es nicht erstaunlich, dass die Beratungsagentur McKinsey davon ausgeht, dass diese Technologie global zwischen 2,6 und 4,4 Billionen Dollar jährlicher Gewinne generieren kann.

Risiken

Sprachmodelle sind nicht perfekt und weniger erprobt als andere in der Verwaltung verwendete Technologien. Daher muss bei der Prüfung zur Verwendung von Sprachmodellen besonders auf deren Risiken geachtet werden. Wir geben dir hier einige Beispiele. Zu unserem Antrag gehört auch, dass von der Verwaltung eine ausführlichere Risikoanalyse durchgeführt werden soll.

Bei KI-Methoden, die auf dem Lernen durch Daten beruhen, ist ein Hauptrisiko das ungewollte Erlernen von z.B. Vorurteilen, die in den Daten präsent sind. Dies wird als Model-Bias bezeichnet und kann unter anderem dazu führen, das bereits vorhandene Diskriminierungen in der Gesellschaft durch KI fortgesetzt oder gar verstärkt werden. Um dem entgegenzuwirken, ist die Untersuchung der Lerndaten unerlässlich. Es muss analysiert werden, ob ungewollte Zusammenhänge gelernt werden. Eine weitere Maßnahme, um diesem Risiko entgegenzusteuern, ist das Entwerfen von Prozessen, die bei kritischen Anwendungsfällen Mitarbeitende einbeziehen, die die Ergebnisse der Sprachmodelle prüfen. Hierbei ist insbesondere auf die Schulung der entsprechenden Mitarbeitenden zu achten.

Ein weiteres Risiko bei Sprachmodellen sind sogenannte “Halluzinationen”. Beim Halluzinieren gibt ein Sprachmodell eine plausibel klingende, aber faktisch falsche Antwort auf eine Frage. Für dieses Problem gibt es eine große Menge an technischen Lösungen wie z.B. das richtige Modifizieren der Eingabe (Prompt Engineering), das Verwenden von externem Wissen wie zum Beispiel aus Dokumenten, Datenbanken oder dem Internet (Retrieval Augmented Generation, siehe unten) oder das Trainieren eines Modells darauf, seine eigenen Wissenslücken zu erkennen. Es ist so möglich, Halluzinationen stark zu reduzieren. Nach aktuellem Stand der Technik können diese allerdings nicht vollständig vermieden werden. Daher ist es auch hier nötig, Prozesse zu entwerfen, die in kritischen Fällen eine Überwachung durch Mitarbeitende ermöglichen.

Je nach Anwendungsfall ist es möglich, dass Sprachmodelle auf sensible Daten zugreifen. Daher muss während der Prüfung sichergestellt werden, dass für die Beschaffung und das Hosting der eingesetzten Sprachmodelle nur vertrauenswürdige Quellen infrage kommen.

Zu prüfende Anwendungsfälle

Chatbots bieten einen einfachen Zugriff auf eine vorhandene Wissensbasis. Nutzende können konkrete Fragen stellen und müssen Antworten nicht in verschiedenen Dokumenten oder Datenbanken selbst suchen.
Voraussetzung für einen funktionierenden Chatbot ist ein digitales Wissensmanagement. Dadurch kann gesichert werden, dass der Chatbot korrekte Antworten gibt und diese wenn nötig auch mit einer Quelle oder zusätzlichen Informationen belegen kann.

1. Verwaltungsinterner Chatbot

Verwaltungsinterne Chatbots sind eine niedrigschwellige Möglichkeit für Mitarbeitende in der Verwaltung, Zugriff auf ein Sprachmodell zu bekommen. Ein solcher Chatbot kann z.B. benutzt werden, um einfache Rechercheaufgaben zu unterstützen, um Texte zusammenzufassen oder um beim Schreiben von Texten zu unterstützen. Viele dieser Anwendungsfälle sind heute schon über öffentlich zugängliche Software wie ChatGPT oder Google Gemini verfügbar. Allerdings ist es hiermit schwer, verwaltungsinterne Prozesse rechtssicher abzubilden, da unter anderem keine DSGVO-konforme Nutzung möglich ist. Unternehmen wie OpenAI, das ChatGPT entwickelt hat, haben ihre Server außerhalb der EU und nutzen die eingegebenen Daten zum weiteren Training ihrer Modelle. Daher ist es umso wichtiger, eine verwaltungsinterne Alternative zu bieten, die rechtssicher ist, da sonst das Risiko besteht, dass Mitarbeitende unautorisierte Chatbots benutzen, um ihre Effizienz zu steigern.

2. Öffentlicher Chatbot 

Ein für Bürger*innen zugänglicher Chatbot bietet sowohl für die städtische Verwaltung als auch für die Bürger*innen selbst viele Vorteile. Z.B. können Fragen von Bürger*innen außerhalb der Dienstzeiten und außerdem zeitgleich zu weiteren Anfragen beantwortet werden. Wiederkehrende Anfragen können so automatisiert bearbeitet werden und Beschäftigte können sich auf komplexere Aufgaben konzentrieren.

Wie oben bereits erwähnt, zeigt eine Veröffentlichung des National Bureau of Economic Research im Bereich Kundenservice eine durchschnittliche Effizienzsteigerung von 14 % durch Chatbots, wobei sich die Steigerung hauptsächlich auf simple beziehungsweise repetitive Aufgaben konzentriert und in diesem Bereich sogar 34% beträgt. Die Positivo University analysierte den Einsatz von Chatbots in der Brazilian Commercial Bank im Bereich Kundenservice und fand dort eine Effizienzsteigerung von 1000 %, welche sich deutlich auf die wirtschaftliche Stabilität der Bank während der Covid-19-Pandemie auswirkte.

Chatbots werden nicht nur in Konzernen, sondern bereits auch in deutschen Verwaltungen eingesetzt, beispielsweise im Digitalministerium Hessen. Auf der Seite des hessischen Verwaltungsportals ist aktuell der Chatbot “Sophia” zu finden, der sich am Ende seiner Pilotphase befindet und nach erfolgreichem Abschluss allen hessischen Kommunen kostenfrei zur Verfügung gestellt werden soll.

3. Wissensmanagement

Unter Wissensmanagement fallen alle Aktivitäten, die darauf abzielen, eine möglichst gute Nutzung von vorhandenem Wissen zu ermöglichen. Hierzu wird das Wissen der Beschäftigten gesammelt, systematisch dokumentiert und anschließend bedarfsgerecht zugänglich gemacht. Es sind verschiedene Softwaresysteme am Markt verfügbar, die hierfür verwendet werden können. Um die unerwünschte Bindung an bestimmte Anbieter, sogenannte Vendor Lock-ins, zu vermeiden, kann Open-Source-Software genutzt werden. Das Wissensmanagement-System ist grundsätzlich unabhängig von Chatbots nutzbar. 

Ein Nachteil hierbei ist allerdings, dass durch die schiere Menge an Informationen die Suche nach passenden Informationen aufwändig sein kann. Daher bietet sich die Kopplung des bereits erwähnten verwaltungsinternen Chatbots an das Wissensmanagement-System an. Hierdurch können Mitarbeitende aus der Verwandlung durch einfache Texteingaben Antworten auf ihre Fragen erhalten.

Eine Technologie namens Retrieval Augmented Generation (RAG) kann hierfür genutzt werden. Diese ermöglicht es dem verwaltungsinternen Chatbot, auf Daten aus dem Wissensmanagement der Stadt Darmstadt zuzugreifen. Der Chatbot kann hierdurch fachspezifische Fragen, zusammen mit einer Quellenangabe, beantworten.

4. Zusammenfassung von Meetings

Eine wichtige Aufgabe in Terminen der Verwaltung ist deren Protokollierung. Durch moderne Tools kann dies automatisiert werden. Hierbei wird das Gesprochene in Text umgewandelt, wodurch ein wörtliches Protokoll entsteht, das dann wiederum durch einen Chatbot in eine Meeting-Zusammenfassung umgewandelt werden kann. Dies ermöglicht Protokollierenden eine stärkere Fokussierung auf die Inhalte der Besprechung und unterstützt sie bei der vollständigen und übersichtlichen Nachbereitung von Meetings. 

Fazit

Für sehr viele Menschen ist KI bereits ein alltägliches Werkzeug, das ihnen viele Aufgaben erleichtert. Dass dieses Werkzeug der Verwaltung nicht oder zumindest nicht datensicher zur Verfügung steht, darf kein Dauerzustand bleiben. Eine überlastete Verwaltung hat eine ganze Reihe von negativen Konsequenzen für unsere Gesellschaft: Mitarbeitende leiden unter dem Druck und erkranken, gesellschaftliche und wirtschaftliche Vorgänge, die von der öffentlichen Verwaltung abhängen, werden ausgebremst, und Bürger*innen erleben den Staat als lebensfern und nicht handlungsfähig. Umgekehrt bedeutet eine gut funktionierende Verwaltung mehr Zufriedenheit bei den Mitarbeitenden, schnellere Prozesse in verschiedensten Bereichen (z.B. Bauwesen, Bildung, Einbürgerung, um nur einige wenige Beispiele zu nennen) und eine Identifikation von Bürger*innen mit dem Staat. Wir sind überzeugt, dass eine klug gestaltete Digitalisierung, zu der die Nutzung von KI gehört, dazu beiträgt, das Vertrauen von Menschen in den Staat zu stärken.

Weitere Informationen

In der Antragsmappe im Parlamentsinformationssystem findet ihr den Antrag selbst sowie die zugehörigen Vorgänge und Abstimmungen.

In unserer Redensammlung findet ihr Aufzeichnungen und Transkripte der Reden, die Franzi und Holger in der Stadtverordnetenversammlung am 8. Mai 2025 zu dem Thema gehalten haben.

Quellen

Generative KI-Modelle. Chancen und Risiken für Industrie und Behörden. Bundesamt für Sicherheit in der Informationstechnik. Version 2.0 vom 17. Januar 2025. https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf?__blob=publicationFile&v=7

Exclusive: ChatGPT traffic slips again for third month in a row. Anna Tong, Reuters. 7. September 2023. https://www.reuters.com/technology/chatgpt-traffic-slips-again-third-month-row-2023-09-07/

The productivity effects of generative AI (ChatGPT). MIT Sloan School of Management. 26. Juni 2023. https://exec.mit.edu/s/blog-post/the-productivity-effects-of-generative-ai-chatgpt-MCBHVNDCBTJNG3FHXHXUWIJ37YPQ

Generative AI at Work. Erik Brynjolfsson, Danielle Li und Lindsey R. Raymond, National Bureau of Economic Research. November 2023. https://www.nber.org/papers/w31161

The Impact of AI on Developer Productivity: Evidence from GitHub Copilot. Sida Peng, Eirini Kalliamvakou, Peter Cihon und Mert Demirer. 13. Februar 2023. https://arxiv.org/abs/2302.06590

AI could increase corporate profits by $4.4 trillion a year, according to new research. Michael Chui und Lareina Yee, McKinsey Global Institute. 7. Juli 2023. https://www.mckinsey.com/mgi/overview/in-the-news/ai-could-increase-corporate-profits-by-4-trillion-a-year-according-to-new-research

Bias and Fairness in Large Language Models: A Survey. Isabel O. Gallegos et al.. 12. Juni 2024. https://arxiv.org/abs/2309.00770

A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. Lei Huang et al.. 19. November 2024. https://arxiv.org/abs/2311.05232

Increasing customer service efficiency through artificial intelligence chatbot. Ivan Martins De Andrade und Cleonir Tumelero, Positivo University Business School. 7. Februar 2022. https://www.emerald.com/insight/content/doi/10.1108/rege-07-2021-0120/full/pdf?title=increasing-customer-service-efficiency-through-artificial-intelligence-chatbot

Chatbot Sophia soll helfen, häufige Fragen an die Verwaltung zu beantworten. Hessisches Ministerium für Digitalisierung und Innovation. 24. Juni 2022. https://hessen.de/presse/pressearchiv/chatbot-sophia-soll-helfen-haeufige-fragen-an-die-verwaltung-zu-beantworten

Wissensmanagement im Überblick: Alternativen zu Confluence. Martin Loschwitz, Linus Magazin. Dezember 2022. https://www.linux-magazin.de/ausgaben/2022/12/confluence-alternativen/

Retrieval Augmented Generation (RAG) for LLMs. Prompt Engineering Guide. Mai 2024. https://www.promptingguide.ai/research/rag

How to Use A.I. to Automate the Dreaded Office Meeting. The New York Times. Mai 2024. https://www.nytimes.com/2023/06/09/technology/ai-meeting-assistant.html