300 unsere jugend, 76. Jg., S. 300 - 310 (2024) DOI 10.2378/ uj2024.art40d © Ernst Reinhardt Verlag Kann Künstliche Intelligenz sozialarbeiterische Entscheidungsprozesse unterstützen? Ethik und digitale Operationalisierung im Feld der Kindeswohlgefährdung Im Rahmen des Forschungsprojektes KAIMo wurde zusammen mit Fachkräften ein KI-System prototypisch entwickelt und getestet, um zu untersuchen, wie Künstliche Intelligenz künftig im Kinderschutz eingesetzt werden kann. Die Ergebnisse zeigen das Potenzial dieser Technologie, wenn sie als Unterstützung und nicht als Ersatz der menschlichen Entscheidungsfindung bereitgestellt wird. von 1 ▲ | Jennifer Burghardt M. A., wissenschaftliche Mitarbeiterin am Institut für E-Beratung der Technischen Hochschule Nürnberg Georg Simon Ohm 2 ▲ | Prof. Dr. Robert Lehmann Professor für Soziale Arbeit, akademische Leitung des Institutes für E-Beratung an der Technischen Hochschule Nürnberg Georg Simon Ohm 3 ▲ | Prof. Dr. Michael Reder Professor für Praktische Philosophie und Inhaber des Lehrstuhls für Praktische Philosophie mit dem Schwerpunkt Völkerverständigung, Vizepräsident der Hochschule für Philosophie München 4 ▲ | Dr. Christopher Koska Wissenschaftlicher Mitarbeiter am Lehrstuhl für Praktische Philosophie der Hochschule für Philosophie München 5 ▲ | Maximilian Kraus M. Sc., wissenschaftlicher Mitarbeiter am Lehrstuhl Sozioinformatik und gesellschaftliche Aspekte der Digitalisierung der Technischen Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt 6 ▲ | Prof. Dr. Nicholas Müller Professor für Sozioinformatik und gesellschaftliche Aspekte der Digitalisierung an der Technischen Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt 5 2 1 6 4 3 301 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse 1. Einführung Die aktuellen technologischen Fortschritte im Bereich der Künstlichen Intelligenz (KI) werden die Fallpraxis im Kinderschutz nachhaltig prägen und verändern. Auch wenn im deutschsprachigen Raum noch keine weitverbreiteten Ansätze für ihre Umsetzung in der Praxis existieren (Gutwald et al. 2021), wird der Einsatz von Künstlicher Intelligenz seit einigen Jahren intensiv diskutiert und auch zunehmend konkret realisiert. Nicht mehr die Frage nach dem „Ob“, sondern vielmehr die Frage nach dem „Wie wollen wir es gestalten? “ rückt in den Vordergrund (Reder et al. 2024). Künstliche Intelligenz ist ein Bereich der Informatik, der darauf abzielt, Maschinen zu schaffen, die menschenähnliche Aufgaben ausführen können, etwa Lernen, Verstehen von Sprache, Problemlösung und Entscheidungsfindung. Die neuen Technologien ermöglichen vor allem in einer hohen Geschwindigkeit die Auswertung großer Datenmengen aus unterschiedlichen Datenquellen. „In automatisierten Prozessen kann somit Wissen generiert werden, welches dem Menschen grundsätzlich nicht mehr zugänglich ist“ (Pietsch/ Wernecke 2017, 17). Es überrascht daher nicht, dass auch im Kinderschutz, der eine essenzielle Aufgabe in jeder Gesellschaft darstellt, der Einsatz von KI-Modellen diskutiert wird. Die Herausforderung besteht dabei nicht nur darin, bestehende Gefährdungslagen für Kinder und Jugendliche zu erkennen, sondern auch drohende schädigende Entwicklungen sicher vorherzusagen. Hinzu kommen oftmals komplexe ethische Abwägungsprozesse und Aspekte wie Zeitdruck, Ressourcenknappheit und Informationsmangel, was die Entscheidungsfindung erschwert (Burghardt/ Lehmann 2023). Mit Blick auf internationale Entwicklungen fokussierte sich der akademische Diskurs zunächst darauf, ob KI-Modelle im Sinne der automatisierten Erstellung von Gefährdungseinschätzungen eingesetzt werden könnten (Kraus et al. 2024; Schrödter et al. 2020). So wird beispielsweise bereits seit August 2016 in den USA ein KI-Modell eingesetzt, das automatisiert einen Gefährdungsgrad für Familien berechnet (Allegheny County 2024). Die bisherigen Modelle werfen jedoch fachlich wie ethisch viele Fragen auf. Hinzu kommt der in Deutschland seit Jahren strittige Diskurs der Frage, ob Instrumente, die auf statistischen Modellen beruhen, überhaupt für die Gefährdungseinschätzung geeignet sind (Bastian 2014). Ob und wie KI-Modelle die menschliche Entscheidungsfindung im Kinderschutz unterstützen oder gar ersetzen können, wurde im interdisziplinären, vom Bayerischen Forschungsinstitut für Digitale Transformation (bidt) finanzierten Forschungsprojekt „KAIMo - Kann ein Algorithmus moralisch kalkulieren? “ untersucht. Das Forschungsprojekt ist eine Kooperation der Hochschule für Philosophie in München, der Technischen Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt (Informatik) und der Technischen Hochschule Nürnberg Georg Simon Ohm (Soziale Arbeit). In dem vorliegenden Artikel werden die Ergebnisse aus dem Projekt dargestellt. Mit Blick auf die besondere Bedeutung ethischer Reflexionsprozesse im Kinderschutz wird zunächst der Frage nachgegangen, ob eine Automatisierung der Prozesse gelingen kann (vgl. Abschnitt 2) und wie Entscheidungsprozesse künftig sinnvoll unterstützt werden können (vgl. Abschnitt 3). In einem Ausblick werden abschließend zentrale Aspekte benannt, die es hinsichtlich der künftigen Entwicklung und dem Einsatz von KI-Modellen im Kinderschutz zu beachten gilt (vgl. Abschnitt 4). 2. Automatisierung der Gefährdungseinschätzung im Kinderschutz Gerade in sehr konfliktiven Handlungsfeldern wie dem Kinderschutz kommt der ethischen Reflexion im Urteilsfindungsprozess eine be- 302 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse sondere Bedeutung zu. Sie erfordert ein Verstehen und Abwägen der Situation mit ihren zugrunde liegenden Werten und moralischen Implikationen. Im Kinderschutz besteht der Konflikt häufig zwischen dem Schutz des Kindeswohls auf der einen Seite und dem Wert der Freiheit auf der anderen Seite, hier in Form der Freiheit der Erziehung der Eltern. Fachkräften kommt die besondere Funktion zu, eine Abwägung und Entscheidung in diesen Wertekonflikten zu treffen. Allgemein betrachtet sind ethisch begründete Entscheidungen für Menschen dann besonders überzeugend, wenn sie kohärent, logisch gültig und plausibel sind. Die Reflexion und Kritik von Wertentscheidungen sind je nach Konfliktsituation verschieden und kontextuell unterschiedlich verortet. Ethisch begründete Kritik rekonstruiert und kritisiert deshalb die Umsetzung von Werten meist mit Blick auf die vorherrschenden Praktiken und institutionellen Rahmenbedingungen. Statt von außen herangetragene Maßstäbe oder Kriterien anzulegen, diskutiert sie interne Widersprüche oder Spannungen innerhalb eines Systems, um deren Grenzen oder Probleme aufzuzeigen. Vorneweg kann deshalb festgehalten werden, dass die Forschungsarbeit von KAIMo zeigte, dass eine Übersetzung dieser Herangehensweise in einen Algorithmus aufgrund der Kontextualität und Komplexität von Wertentscheidungen auch mit den neuen KI-Modellen nur unzureichend möglich ist. Damit ein Algorithmus im Konflikt moralisch kalkulieren kann, benötigt er sogenannte Grundwahrheiten (ground truth), die als Standard oder Referenz verwendet werden, um die Genauigkeit und Zuverlässigkeit des zugrunde liegenden KI-Modells zu überprüfen. Zum Beispiel ist die Grundwahrheit von einem KI- Modell, das darauf trainiert ist, Katzen in Bildern zu erkennen, die tatsächliche Anwesenheit oder Abwesenheit einer Katze auf dem Bild. Die Definition von Grundwahrheiten im Kinderschutz entsteht hingegen in der Regel erst in der fallspezifischen Betrachtung und Kombination verschiedener Beobachtungen, Aussagen und Bewertungen beteiligter AkteurInnen. KI-Modelle können jedoch dafür eingesetzt werden, um retrospektiv aus tatsächlichen Kinderschutzfällen einschlägige Fallmuster in den Daten zu ermitteln, um diese Muster auch in aktuellen Fallkonstellationen zu identifizieren. Diese Erkenntnisse als Grundwahrheiten zu bestimmen, ist jedoch im Hinblick auf die multidimensionalen Kontexte und häufigen Abweichungen von der Norm kritisch zu hinterfragen. Auch weil die verfügbaren Datensätze in der Regel lediglich eine dokumentierte Fallpraxis abbilden. Entscheidungsrelevante fallspezifische Wahrnehmungen und Intuitionen (wie Geruchsempfindungen, Körpersprache) können daher nur bedingt technisch integriert werden. KI-Modelle können auch eingesetzt werden, um das menschliche Entscheiden und Handeln der Fachkräfte zu analysieren, ihr Verhalten zu reproduzieren und auf dieser Basis eine Handlungsempfehlung auszugeben. Im Gegensatz zum Menschen verfügen Algorithmen allerdings über kein moralisches Bewusstsein. Zentral für ein moralisches Bewusstsein sind Fähigkeiten wie Empathie, Intuition und eine Form des Urteilens, die die Verkörperung und die Fähigkeit zur Entscheidung für oder gegen das Gute voraussetzt (Koska 2023). Heutige KI-Modelle reproduzieren hingegen die Wertebereiche der Fachkräfte, kalkulieren Grenzwerte und optimieren Schwellenwerte. Sie leiten also moralische Urteile auf der Grundlage von Ähnlichkeitsmerkmalen ab, sie können sich aber in kein normativ-wollendes Verhältnis zu moralischen Werten setzen oder auf Verfahren ethischer Urteilsbildung wie Diskursivität und Reflexivität zurückzugreifen. Die Integration ethischer Reflexionen in eine KI in diesem Feld muss diese Begrenzung aber immer beachten. Ein weiteres Risiko bei mustererkennender Analyse von Datensätzen durch KI-Modelle besteht in unerwünschten Verzerrungen, dem so- 303 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse genannten Datenbias, der häufig im Zusammenhang mit KI-Modellen auftritt. So zeigten beispielweise Evaluationen des in den USA eingesetzten „Allegheny Family Screening Tool“, dass das KI-Modell Armut mit schlechter Elternschaft gleichsetzt (Eubanks 2018). Dieser diskriminierende Effekt ist auf den Datensatz zurückzuführen, auf dem das KI-Modell beruht, in dem vor allem Familien aus sozioökonomisch prekären Verhältnissen überrepräsentiert sind. Dies wurde auch von der KI als Muster erkannt und reproduziert. Wenn man die bestehenden Statistiken der Inobhutnahmen unter diesem Blickwinkel betrachtet, ist stark davon auszugehen, dass auch in unseren Fallakten Menschengruppen statistisch überrepräsentiert sein werden (Statistisches Bundesamt 2023). Zusätzlich führt der sogenannte Automation Bias dazu, dass Fachkräfte dazu neigen, Vorschläge von automatisierten Entscheidungssystemen zu bevorzugen, auch wenn sie diese nicht vollständig verstehen, was die Risiken verzerrter Datenverarbeitung verstärkt (Mosier et al. 2000). Es gilt daher sorgfältig abzuwägen, welche Aspekte der Entscheidungsfindung digitalisiert werden können. Es muss vor allem klar definiert werden, in welchen Bereichen menschliche Steuerungs- und Kontrollfunktionen (meaningful human control) unerlässlich sind. Der Einsatz von KI-Modellen sollte daher darauf abzielen, die menschliche Entscheidungsfindung zu verbessern anstatt sie zu ersetzen. 3. Das Projekt KAIMo - KI als Assistenz im Kinderschutz 3.1 Entstehung und Grundstruktur des Prototyps Im internationalen Austausch mit ExpertInnen wurde im Projekt KAIMo ein neuer Ansatz erarbeitet, der nicht auf die Bildung automatisierter Scores und Empfehlungen setzt. Stattdessen wurde eine KI-Assistenz konzipiert und prototypisch entwickelt, die die Fachkräfte bei der sorgfältigen Abwägung der vorliegenden Informationen unterstützen soll. Hierzu wurden im Projekt zunächst Bestandsaufnahmen durchgeführt. Neben der Erhebung von Prozessstandards und Handlungsempfehlungen wurden Interviews mit Fach- und Führungskräften durchgeführt, Falldokumentationen sowie die Arbeitsweise bei der Fallbearbeitung gesichtet. Besonders das Setting der Kollegialen Beratung im Rahmen von Fachteams rückte dabei in den Fokus der weiteren Konzeption der KI-Assistenz. Zunächst ist jedoch entscheidend, möglichst umfassend alle Informationen zu erheben, die für eine Gefährdungseinschätzung relevant sind. Bereits für diese Phase stellt die KI-Assistenz Funktionen bereit, die den vorliegenden Informationsstand automatisiert strukturieren und visualisieren. Fachkräfte haben so die Möglichkeit, sich im Hinblick auf entscheidungsrelevante Merkmale durch Filterfunktionen einen gezielten Überblick zu verschaffen und ggf. noch bestehende Informationslücken zu erkennen. Auch werden entscheidungsrelevante Hinweise aus der Falldokumentation automatisiert extrahiert. Dabei werden nicht nur Hinweise generiert, die auf mögliche Risiken hinweisen. Auch Hinweise, die sich positiv für die Entwicklung oder auch letztendlich als nicht relevant erweisen, werden für die Bewertung aufbereitet. Somit wird der vorliegende Sachverhalt umfassend und nicht bereits vorselektiert für die Beratung aufbereitet. Für die Bewertung der Hinweise stellt die KI- Assistenz für jeden Hinweis eine Folgenabschätzung und eine Plausibilitätsprüfung zur Verfügung. Während die Folgenabschätzung Hypothesen für weitere Entwicklungen generiert, die sich aus dem jeweiligen Hinweis ergeben könnten, umfasst die Plausibilitätsprüfung die Identifikation von möglichen Widersprüchen, Gemeinsamkeiten und subjektiven Prägungen in den vorliegenden Informationen. 304 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse Bei der Darstellung der von der KI generierten Inhalte wurde darauf geachtet, dass diese als „mögliche Interpretationen“ und nicht als „faktische Kenntnisse“ von den Fachkräften wahrgenommen werden. Damit stellen die angebotenen Funktionen eine Unterstützungsmöglichkeit dar, die bei Bedarf genutzt werden kann, ohne eine konkrete Handlungsempfehlung oder ein Ergebnis zu beinhalten. Die Entscheidung, wie der Hinweis letztendlich zu bewerten ist, obliegt daher alleinig den Fachkräften. Hinsichtlich möglicher Bias-Effekte in der Urteilsbildung der Fachkräfte wurden zudem Funktionen in den Blick genommen, die passend zum konkreten Entscheidungsverhalten der Fachkräfte (Bewertung der Hinweise) kontextsensitive Reflexionsfragen ableiten. Diese bieten sich zum Zeitpunkt der Entscheidung den Fachkräften zur Diskussion. Hierdurch sollen die ethischen Reflexions- und Begründungsprozesse der Fachkräfte angeregt werden, ohne zu suggerieren, dass die KI-Assistenz die ethische Abwägung übernehmen könnte. 3.2 LLMs als zentrale Technologie Während der Entwicklung der KI-Assistenz wurden verschiedene KI-Modelle erprobt. Es hat sich gezeigt, dass insbesondere die neuen Sprachmodelle, die sogenannten „Large-Language- Models“ (LLMs), besonders gut geeignet sind, um den Prozess der Urteilsbildung von Fachkräften im Kinderschutz zu unterstützen. LLMs sind der breiten Öffentlichkeit vor allem durch die Veröffentlichung des KI-Modells „ChatGPT“ im Herbst 2022 bekannt geworden. Sie entspringen dem Forschungsgebiet des „Natural Language Processing“, das sich mit der Interaktion zwischen menschlicher Sprache und Computern befasst. Die Technologie basiert auf dem Verfahren des sogenannten Maschinellen Lernens (ML), das bereits seit den 1980er-Jahren angewendet wird und die Grundlage vieler IT-Systeme bildet, die wir bereits seit einigen Jahren aus unserem Alltag kennen (Albrecht/ Rudolph 2023). Die neuen KI-Modelle unterscheiden sich von früheren Modellen vor allem in ihrer Größe und Komplexität. Durch eine Weiterentwicklung und Optimierung der Modell-Architektur sowie dem Training mit immer größeren Datenmengen konnten die Fähigkeiten zum Sprachverständnis und zur Spracherzeugung auf ein neues, beeindruckendes Niveau gehoben werden. Während sie für NutzerInnen überwiegend in Form von Chatbots zur Beantwortung von Fragen eingesetzt werden, sind die neuen Fähigkeiten zu einer zentralen Schlüsseltechnologie in der automatisierten Textanalyse und -generierung geworden (Yang et al. 2024). Die aktuellen Entwicklungen weisen darauf hin, dass insbesondere die Kombination aus mehreren KI-Modellen - sogenannte „Multi-Agenten- Ansätze“ - sich besonders bewähren werden. Multi-Agenten-Systeme bestehen aus mehreren Komponenten (Agenten), die jeweils eine Kernkompetenz abbilden und miteinander interagieren. Sie stehen in einer Art und Weise miteinander im Austausch, die es dem Gesamtsystem ermöglicht, Problemstellungen zu lösen, die für einen einzelnen Agenten schwer oder unmöglich zu lösen wären (Gronauer/ Diepold 2021). Daher wurden auch für die KI-Assistenz im Projekt KAIMo verschiedene KI-Modelle in einem „Drei-Agenten-Ansatz“ miteinander verknüpft. 3.3 Testungen und Evaluation des Prototyps Die im Projekt entwickelte KI-Assistenz wurde durch insgesamt 20 Fachkräfte bayerischer Jugendämter getestet. Neben der Frage, ob die KI-Assistenz Fachkräfte im Kinderschutz tatsächlich unterstützen kann, wurde auch die 305 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse Frage der Akzeptanz der Fachkräfte im Hinblick auf den Einsatz von KI-Assistenzen in den Blick genommen. Für die Beantwortung dieser Fragestellungen wurden insgesamt fünf Fokusgruppen gebildet. Diese waren ein Abbild natürlicher Fachteams in Jugendämtern, wie sie auch im beruflichen Alltag bestehen. Gegenstand der Fokusgruppe war die Beratung eines fiktiven Kinderschutzfalls, der eine Meldung mit gewichtigen Anhaltspunkten für eine Kindeswohlgefährdung sowie Dokumentationen verschiedener Gespräche und eines Hausbesuches umfasste. Der Kinderschutzfall wurde so konstruiert, dass er sowohl mögliche Voreingenommenheiten bei den relevanten AkteurInnen wie auch mögliche „BIAS-Trigger“ für die Fachkräfte selbst beinhaltete. Auch wurde der Wertekonflikt Kinderrecht (Schutz des Kindeswohls) vs. Elternrecht auf Erziehung (Privatsphäre) abgebildet. Die Fachkräfte erhielten die Möglichkeit, die Beratung eigenständig mit Unterstützung der KI-Assistenz durchzuführen. Ziel war die gemeinsame Einschätzung des Gefährdungsrisikos für das im Fall benannte Kind. Die Beratungen wurden von Projektbeteiligten leitfadengestützt beobachtet. Zudem erfolgten eine standardisierte Befragung und gemeinsame Gruppendiskussion mit den Teilnehmenden, um die individuellen Sichtweisen und Bewertungen der Fachkräfte zu der KI-Assistenz zu erheben. Ergebnisse aus der qualitativen Befragung und Gruppendiskussion Die Befragung der Teilnehmenden erfolgte durch einen halboffenen Fragebogen. Im Vorfeld der Beratungen wurden zunächst Fragen zur Einschätzung der eigenen Erfahrung, Kenntnisse, Kompetenzen und Haltung in Bezug auf die Nutzung digitaler Technologien gestellt. Im unmittelbaren Nachgang zu den Beratungen in den Fokusgruppen erhielten die Teilnehmenden die Möglichkeit, ihr Erleben und ihre Gedanken/ Assoziationen zur KI-Assistenz zu reflektieren. In der darauffolgenden leitfadengestützten und moderierten Gruppendiskussion wurden die Fragen aus der Nachbefragung nochmals aufgegriffen und um Fragen nach künftigen Anforderungen und Wünschen der Teilnehmenden erweitert. Die erhobenen Daten wurden mittels einer zusammenfassenden qualitativen Inhaltsanalyse nach Mayring (2022) ausgewertet. Die Auswertung zeichnet mit Blick auf die Frage, ob KI-Assistenz Fachkräfte im Kinderschutz tatsächlich unterstützen kann, ein durchweg positives Bild. Die Fachkräfte beschrieben sie als ein „sehr gutes Werkzeug, um die eigenen Gedanken zu sortieren“ und „komplexe Zusammenhänge gut zusammenzufassen“. Gerade mit Blick auf umfangreiche Fallakten wurde die automatisierte Hinweisgenerierung bzw. -extraktion aus den Falldaten sowie die verfügbaren Filterfunktionen als bereichernd für ihren Praxisalltag erlebt. Aber auch die hinweisspezifischen Plausibilitätsprüfungen und Folgenabschätzungen wurden als unterstützend für den Diskussionsprozess beschrieben, da diese „wesentliche Denkanstöße und Impulse lieferten“ und „alle möglichen Blickwinkel aufgezeigt“ werden und „neue Sichtweisen und Überlegungen“ entstehen können. Es konnte festgestellt werden, dass die angebotenen Funktionen im Rahmen der Bewertung vor allem dann genutzt wurden, wenn zur Bewertung der Hinweise unterschiedliche Betrachtungsweisen bestanden. Die KI-Assistenz nahm damit häufig eine Rolle als Mit-Diskutant ein. Die angebotenen (ethisch motivierten) Reflexionsfragen erzielten eine polarisierende Wirkung. Ein Teil der Fachkräfte empfand diese als überflüssig oder gar den Beratungsverlauf störend. Andere wiederum empfanden die Reflexionsfragen inspirierend und für den kollegialen Diskurs hilfreich. Die unterschiedliche Bewertung kann auf die subjektive Bedeutung einer vertieften Befassung anhand selbstreflexiver Fragen zurückgeführt werden. Aber auch die Art und Weise, wie die Fragen präsentiert 306 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse wurden, nahm Einfluss auf die Annahme oder auch Ablehnung des Reflexionsangebotes. Dieses Phänomen wird als Framing-Effekt beschrieben. Demnach wird die Akzeptanz von angebotenen Optionen sowohl durch ihre Formulierung als auch durch die Normen, Gewohnheiten und persönlichen Eigenschaften des Entscheidungsträgers bestimmt (Tversky/ Kahneman 1981). Kritisch beleuchtet wurde der Zeitaufwand, der mit der Nutzung der KI-Assistenz verbunden ist. Während für die Aufbereitung eines Falles das Potenzial einer erheblichen Zeitersparnis festgestellt wurde, hat die exemplarisch durchgeführte Beratung mehr Zeit in Anspruch genommen, als sie nach Einschätzung der Fachkräfte üblicherweise gedauert hätte. Die Fachkräfte bewerteten dies jedoch durchaus als Mehrwert, da ein „intensives Eingehen auf die einzelnen Punkte und Auseinandersetzung“ stattfand. Im Diskurs zeigten sich auch die Sorge und Ängste, wie sie im Zusammenhang mit digitalen Innovationen bekannt sind (Schöttler 2018). Die Sorge, durch Technik ersetzt zu werden, und auch die Ängste des möglichen Bedeutungsverlustes des eigenen Berufsbildes sind tief verwurzelt. So betonten die Fachkräfte, dass die KI-Assistenz zwar den Beratungsprozess unterstützte, jedoch die Entscheidung nicht ersetzen kann. Eine weitere Sorge wurde im Hinblick auf die „technische Verlässlichkeit“ ausgedrückt. Es wurde unter anderem die Gefahr benannt, KI-Assistenten könnten den Fallkontext vernachlässigen. Hierdurch würde das Risiko bestehen, „dass bei manchen Familien zu schnell eingegriffen wird, da die KI diese Faktoren […] evtl. nicht berücksichtigt“. Auch die generellen Bedenken bezüglich der eigenen „technischen Überforderung“ wurden in diesem Zusammenhang sichtbar. Diese beziehen sich vor allem auf die Unsicherheit, ob die Ergebnisse der KI-Assistenz hinreichend nachvollzogen und im Gesamtkontext eingeordnet werden können. Ergebnisse aus der quantitativen Befragung Mit Blick auf die Frage der Akzeptanz der Fachkräfte im Hinblick auf den Einsatz von KI-Assistenzen wurden in der quantitativen Befragung der Teilnehmenden Skalen des Technologieakzeptanzmodells (TAM) eingesetzt. Das TAM wurde spezifisch für die Erhebung der Akzeptanz technischer Innovationen in Organisationen entwickelt und stetig ausgearbeitet. Für das Projekt wurde auf die von Olbrecht (2010) entwickelte deutsche Übersetzung des von Venkatesh und Davis (2000) veröffentlichten Fragebogens zurückgegriffen. Da die Zielsetzung in einer explorativen Analyse bestand, vorläufige Trends oder Muster zu identifizieren, die in zukünftigen, detaillierteren Studien näher untersucht werden können, wurde sich in der Befragung auf die fünf folgenden TAM-Kategorien beschränkt: wahrgenommene Benutzerfreundlichkeit, wahrgenommenes Vergnügen, die Relevanz für den Job, Ergebnisqualität und Nachvollziehbarkeit der Ergebnisse. Diese wurden von den Teilnehmenden mittels einer siebenstufigen Likert-Skala (1: stimme überhaupt nicht zu, 4: neutral, 7: stimme voll und ganz zu) bewertet. Tab. 1: Deskriptive Werte der TAM-Skalen für den KAIMo-Prototypen M SD Cronbachs-Alpha Wahrgenommene Benutzerfreundlichkeit Wahrgenommenes Vergnügen Relevanz für den Job Ergebnisqualität Nachvollziehbarkeit der Ergebnisse 5,71 5,87 5,37 4,84 5,40 0,697 0,668 1,22 1,17 0,862 α = 0,360 α = 0,483 α = 0,871 α = 0,904 α = 0,580 307 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse Die so erhobenen Daten von insgesamt 18 Teilnehmenden wurden mittels statistischer Verfahren ausgewertet. Angesichts der geringen Stichprobe werden an dieser Stelle lediglich die deskriptiven Daten berichtet. Die allgemeinen Anforderungen an die Reliabilität ist bei den Kategorien „Relevanz für den Job“ und „Ergebnisqualität“ erfüllt. Hinsichtlich der Kategorien „Benutzerfreundlichkeit“, „Vergnügen“ und „Nachvollziehbarkeit der Ergebnisse“ konnten diese nicht erreicht werden. Dies kann auf die geringe Fallzahl zurückgeführt werden. Die deskriptiven Werte deuten meist eine hohe, jedoch immer ausreichende Akzeptanz des Tools als solches an. Eine genauere Analyse dieser Werte auch im Kontrast zu Akzeptanzwerten ähnlicher Anwendungen wird in einer eigenständigen Publikation erfolgen. Zusammenfassung und Diskussion der Ergebnisse Die scheinbare Diskrepanz der hohen Akzeptanzwerte in der quantitativen Befragung und den geäußerten Bedenken im gemeinsamen Diskurs lässt sich damit erklären, dass sich die Befragung auf die Bewertung des konkreten Beispiels bezog. Im Gegensatz dazu befassten sich die Teilnehmenden im gemeinsamen Diskurs mit eher abstrakten Bewertungen möglicher künftiger Entwicklungen. Besonders deutlich wurde, dass nicht nur die pragmatische Qualität (Benutzerfreundlichkeit, Ergebnisqualität, Nachvollziehbarkeit der Ergebnisse), sondern vor allem auch die hedonische Qualität (Vergnügen) der KI-Assistenz ein wesentliches Akzeptanzkriterium für die Fachkräfte war. Die pragmatische Qualität beschreibt, inwiefern ein Produkt seinen eigentlichen Zweck erfüllt. Die hedonische Qualität beschreibt dagegen die subjektive Wahrnehmung, das Vergnügen oder den „Begeisterungsfaktor“, den ein Produkt oder eine Dienstleistung einem Verbraucher oder einer Verbraucherin bietet. Während beispielsweise die pragmatische Qualität einer Kaffeemaschine darin besteht, heißes Wasser durch gemahlenen Kaffee zu leiten, um einen funktionellen Kaffee zu brauen, bezieht sich die hedonische Qualität auf das Design, Einstellungsoptionen, genussanregende Geräusche, die das Zubereiten von Kaffee zu einem Erlebnis machen. Auch wenn die hedonische Qualität subjektiv ist, leistet sie oft den größeren Anteil am Erfolg oder Misserfolg eines Produktes (Ellingsen et al. 2015). Zusammenfassend zeigen die Ergebnisse der Evaluation das Potenzial von KI-Assistenten für die Entscheidungsfindung von Fachkräften. Durch die Unterstützung bei administrativen Aufgaben und der Bereitstellung fallspezifischer Informationen konnten die Fachkräfte für sich sowohl einen potenziellen Mehrwert in der Fallreflexion als auch in Bezug auf die Selbstreflexion identifizieren, genauso im Rahmen kollegialer Fallbesprechungen als auch in der Einzelnutzung. Damit kann dieser Ansatz auch einen Beitrag dazu leisten, dem zunehmenden Fachkräftemangel im Bereich des Kinderschutzes entgegenzuwirken, da die Handlungssicherheit insbesondere neuer Fachkräfte von Beginn an gesichert und zentrale Belastungen für Fachkräfte abgebaut werden können. 4. Ausblick Durch den im Projekt KAIMo entwickelten Ansatz konnte eine verantwortungsvolle Balance zwischen innovativer Technologie und den (berufs-)ethischen Grundsätzen gefunden sowie die Erhaltung der menschlichen Steuerung und Kontrolle erreicht werden. Die Evaluierung im Projekt KAIMo zeigt das Potenzial, das sich durch den Einsatz von Künstlicher Intelligenz 308 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse entfalten kann, wenn sie als Assistenz und nicht als Ersatz für Entscheidungsfindungsprozesse konzipiert wird. Bei der Entwicklung und Implementierung von KI-Systemen sind dabei die Kriterien ethischer Abwägung als maßgebliche Parameter zu beachten und transparent im Entwicklungsprozess darzustellen, auch wenn diese wie gesehen nur simuliert und nicht in ihren spezifischen Eigenheiten digitalisiert werden können. Hierzu wurden bereits verschiedene Leitfäden entwickelt: unter anderem das Ethik-Briefing von Heesen et al. (2020), welches Kriterien für die verantwortungsvolle Entwicklung und Anwendung von KI-Systemen definiert. Die hier beschriebenen Kategorien - Selbstbestimmung, Schutz der Privatheit und soziale Gerechtigkeit - spiegeln dabei die ethischen Grundsätze der Sozialen Arbeit wider. Auch sind ein durchgängiges Qualitätsmanagement und Controlling des Lernerfolges der KI-generierten Ergebnisse sicherzustellen. Die aktuellen KI-Modelle werden aufgrund ihrer Komplexität für den Menschen schnell zu einer undurchsichtigen „Black Box“. Daher sind im Sinne von „Explainable-AI“-Konzepten beim Einsatz von Künstlicher Intelligenz Methoden bereitzustellen, die den Fachkräften KI-Modelle in ihrer Grundlogik und Arbeitsweise erklärbar und damit verstehbar machen. In diesem Zusammenhang ist auch die Bereitstellung von zentralen (Fach-)Datenbanken in den Blick zu nehmen. Diese können einen wichtigen Beitrag zur künftigen Qualität und Transparenz von Trainingsdaten leisten sowie die Einbindung von benötigtem Fachwissen für die KI-Modelle sicherstellen. Der Einsatz von KI erfordert zudem eine entsprechende digitale Infrastruktur. Sie bildet das Fundament, auf dem KI-Systeme effektiv arbeiten können. Dazu gehört in erster Linie eine datenschutzkonforme und belastbare Infrastruktur in den Einrichtungen und Diensten selbst. In dem Wissen um die Pluralität der konzeptionellen und technischen Infrastruktur in den Einrichtungen und Diensten sollten künftige KI-Modelle daher als ein erweiterbares Ökosystem verstanden werden, das in bestehende Strukturen eingebunden werden kann, ohne die Kernsysteme überarbeiten zu müssen. Dabei ist zu bedenken, dass die Bereitstellung der benötigten Rechenkapazitäten für KI-Modelle sehr energieintensiv sein kann. Im Sinne einer nachhaltigen digitalen Infrastruktur sollte daher auch der Aufbau einer datenschutzkonformen Netzwerkinfrastruktur angestrebt werden. Für eine erfolgreiche Implementierung entsprechender KI-Assistenten ist es außerdem erforderlich, dass Fachkräfte der Sozialen Arbeit in die Entwicklung und Gestaltung solcher Assistenzsysteme einbezogen werden und damit digitale Transformationsprozesse mitgestalten können. Ziel ist eine neue Arbeitspraxis, in der digitale Technologien angemessen und überzeugend integriert werden. Wichtig hierbei ist, dass innerhalb dieser Praxis an der Schnittstelle zwischen Mensch und KI-System neue Formen von Vertrauen gebildet werden. Denn Vertrauen bezieht sich in diesen Kontexten nicht nur auf das Vertrauen zwischen Menschen, sondern auch auf Vertrauen in die Maschine, was mehr ist als Verlässlichkeit oder rationale Erwartbarkeit. Vertrauen wandert „angesichts von KI-Entwicklungen aus einem rein intersubjektiven Verständnis hin zu einem technizierbaren Konstrukt und es entstehen neue Vertrauensverhältnisse“ (Koska et al. 2024). Vertrauen ist dabei keine rein individuelle Haltung, sondern manifestiert sich in eben jener neu zu schaffenden Praxis, in der Menschen ein konstruktives Verhältnis zu KI-Systemen als ein unterstützendes, aber nicht ersetzendes Instrument entwickeln. Dabei bedeutet Vertrauen auch, mögliche Verzerrungen oder Voreingenommenheit kritisch zu evaluieren und Verletzbarkeiten zuzulassen. „Vertrauen ist letztlich auf ein Zulassen von Verletzbarkeit angewiesen. Letzteres ist jedoch nicht für alle Menschen in gleicher Weise möglich, da ‚Sich-verletzbar- Machen‘ je nach sozialer Position unterschiedliche Folgen haben kann“ (Koska et al. 2024). 309 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse Dies gilt auch und ganz besonders für die Arbeit im Kinderschutz und bedarf deshalb besonderer Beachtung. Hierzu ist auch eine entsprechende Qualifizierung der Fachkräfte notwendig. Die klassische berufliche Sozialisation von Fachkräften der Sozialen Arbeit war bislang „nicht-technisch“ geprägt, sodass meist nur wenig Kenntnisse über die Fähigkeiten und Grenzen von KI-Modellen vorhanden sind. Diese sind jedoch notwendig, um eine ethische und verantwortungsvolle Nutzung dieser Technologie zu gewährleisten. Eine verstärkte partizipative Beteiligung der Zivilgesellschaft am Entwicklungsprozess von KI-Modellen sollte zudem als originäre Aufgabe der Sozialen Arbeit verstanden werden. Jennifer Burghardt und Robert Lehmann Technische Hochschule Nürnberg Georg Simon Ohm Institut für E-Beratung Keßlerplatz 12 90489 Nürnberg Michael Reder und Christopher Koska Hochschule für Philosophie München Kaulbachstr. 31 a 80539 München Maximilian Kraus und Nicholas Müller Technische Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt Sanderheinrichsleitenweg 20 97074 Würzburg Literatur Albrecht, J., Rudolph, E. (2023): Künstliche Intelligenz und Machine Learning - Grundwissen für Sozialarbeiter/ -innen. Jugendhilfe 5, 367 - 376 Allegheny County (2024): Allegheny Family Screening Tool. In: https: / / www.alleghenycounty.us/ Services/ Human-Services-DHS/ News-and-Events/ Accomplish ments-and-Innovations/ Allegheny-Family-Screening- Tool, 27. 3. 2024 Bastian, P. (2014): Statistisch Urteilen - professionell Handeln. Überlegungen zu einem (scheinbaren) Widerspruch. Zeitschrift für Sozialpädagogik 2, 145 - 164 Burghardt, J., Lehmann, R. (2023): Künstliche Intelligenz und Kinderschutz. Jugendhilfe 5, 410 - 414 Ellingsen, D., Siri, L., Morten, K. (2015): Hedonic value. In: Handbook of Value. In: Brosch, T., Sander, D. (Hrsg.): Perspectives from Economics, Neuroscience, Philosophy, Psychology and Sociology. University Press, Oxford, 265 - 268, https: / / doi.org/ 10.1093/ acprof: oso/ 9780198716600.003.0013 Eubanks, V. (2018): Automating Inequality: How High- Tech Tools Profile, Police, and Punish the Poor. Picador, St. Martin’s Press, New York, https: / / doi.org/ 10. 5204/ lthj.v1i0.1386 Gronauer, S., Diepold, K. (2021): Multi-agent deep reinforcement learning: a survey. Artificial Intelligence Review 55, 895 - 943, https: / / doi.org/ 10.1007/ s104 62-021-09996-w Gutwald, R., Burghardt, J., Kraus, M., Reder, M., Lehmann, R., Müller, N. (2021): Soziale Konflikte und Digitalisierung Chancen und Risiken digitaler Technologien bei der Einschätzung von Kindeswohlgefährdungen. EthikJournal 7 (2), 1 - 20 Heesen, J., Grunwald, A., Matzner, T., Roßnagel, A. (2020): Ethik-Briefing. Leitfaden für eine verantwortungsvolle Entwicklung und Anwendung von KI-Systemen. In: https: / / www.plattform-lernende-systeme.de/ files/ Downloads/ Publikationen/ AG3_Whitepaper_EB_200 831.pdf, 27. 3. 2024 Koska, C. (2023): Ethik der Algorithmen. Auf der Suche nach Zahlen und Werten. Springer VS, Berlin, https: / / doi.org/ 10.1007/ 978-3-662-66795-8 Koska, C., Prugger, J., Jörg, S., Reder, M. (2024, im Erscheinen): Die Verlagerung von Vertrauen vom Mensch zur Maschine: Eine Erweiterung des zwischenmenschlichen Vertrauensparadigmas im Kontext Künstlicher Intelligenz. Zeitschrift für Praktische Philosophie Kraus, M., Burghardt, J., Koska, C. (2024): AI-assisted reflection in child welfare. In: Reder, M., Koska, C. (Hrsg.): Künstliche Intelligenz und ethische Verantwortung. Transcript, Bielefeld, 63 - 83 Mayring, P. (2022): Qualitative Inhaltsanalyse - Grundlagen und Techniken. 13. überarb. Aufl. Beltz Juventa, Weinheim/ Basel 310 uj 7+8 | 2024 KI und sozialarbeiterische Entscheidungsprozesse Mosier, K., Skitka, L. J., Burdick, M. D. (2000): Accountability and automation bias. International Journal of Human-Computer Studies 52 (4), 701 - 717, https: / / doi. org/ 10.1006/ ijhc.1999.0349 Olbrecht, T. (2010): Akzeptanz von E-Learning - Eine Auseinandersetzung mit dem Technologieakzeptanzmodell zur Analyse individueller und sozialer Einflussfaktoren. In: https: / / www.db-thueringen.de/ servlets/ MCRFileNodeServlet/ dbt_derivate_00021 996/ Olbrecht/ Dissertation.pdf, 27. 3. 2024 Pietsch, W., Wernecke, J. (2017): Einführung: Zehn Thesen zu Big Data und Berechenbarkeit. In: Pietsch, W., Wernecke, J., Ott, M. (Hrsg.): Berechenbarkeit der Welt? Philosophie und Wissenschaft im Zeitalter von Big Data. Springer VS, Berlin, 13 - 35, https: / / doi.org/ 10.1007/ 978-3-658-12153-2 Reder, M., Lehmann, R., Müller, N. (2024): Über das Verhältnis von Ethik und Algorithmen. Ein Problemaufriss. In: Reder, M., Koska, C. (Hrsg.): Künstliche Intelligenz und ethische Verantwortung. Transcript, Bielefeld, 7-22 Schöttler, R. (2018): Zwischen Euphorie und Widerstand: Digitale Innovationen erfolgreich realisieren. In: Kreidenweis, H. (Hrsg.): Digitaler Wandel in der Sozialwirtschaft. Grundlagen-Strategien-Praxis. Nomos, Baden-Baden, 145 - 162, https: / / doi.org/ 10.5771/ 978 3845285016 Schrödter, M., Bastian, P., Taylor, B. (2020): Risikodiagnostik und Big Data Analytics in der Sozialen Arbeit. In: Kutscher, N., Ley, T., Seelmeyer, U., Siller, F., Tillmann, A., Zorn, I. (Hrsg.): Handbuch Soziale Arbeit und Digitalisierung. Beltz Juventa, Weinheim/ Basel, 255 - 263 Statistisches Bundesamt (Destatis) (2023): Pressemitteilung Nr. 246 vom 26. Juni 2023. Inobhutnahmen im Jahr 2022 wieder stark gestiegen: 40 % mehr als im Vorjahr. In: https: / / www.destatis.de/ DE/ Presse/ Pressemitteilungen/ 2023/ 06/ PD23_246_225.html, 27. 3. 2024 Tversky, A., Kahneman, D. (1981): The Framing of Decisions and the Psychology of Choice. Science 211, 453 - 458, https: / / doi.org/ 10.1126/ science.7455683 Venkatesh, V., Davis, F. D. (2000): A theoretical extension of the Technology Acceptance Model: Four longitudinal field studies. Management Science 46 (2), 186 - 204, https: / / doi.org/ 10.1287/ mnsc.46.2.186.11 926 Yang, J., Jin, H., Tang, R., Han, X., Fend, Q., Jiang, H., Zong, S., Ying, B., Hu, X. (2024): Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond. ACM Transactions on Knowledge Discovery from Data, https: / / doi.org/ 10.1145/ 3649506