Beste Grüsse, dein ADM

  • Angela van Rooden

Sogenannte "automated decision-making"-Systeme nehmen eine immer wichtigere Rolle ein bei der Administration von Rechten und Dienstleistungen. Wie gehen wir damit um?

Mehr zu den Services Service Design, Custom Development und Agile Teams und Prozesse die wir dir als Digital Agentur bieten.

“As automated decision-making systems take center stage for distributing rights and services within Europe, institutions across the region increasingly recognize their role in public life, both in terms of opportunities and challenges.”

Wie sieht die öffentliche Verwaltung in 10 Jahren aus, werden wir unsere Anliegen nur noch digital und mit automatisierten Entscheidungen erledigen?

Diese Frage war der Startschuss zur ersten Veranstaltung von Algorithm Watch Schweiz.

Echte NeutralitĂ€t von ADM - “automated decision making” - gibt es nicht, da wir Menschen unweigerlich implizite normative Annahmen treffen. Also dann: bestmögliche NeutralitĂ€t. Der grosse Unterschied zwischen Mensch und ADM besteht wohl darin, dass wenn Menschen nicht-neutrale Entscheidungen treffen, diese willkĂŒrlicher sind. Aber wenn wir den Algorithmen implizite normative Annahmen zugrunde legen, Diskriminierungen systematisch werden. NatĂŒrlich gibt es auch die Möglichkeit - das eigentliche Ziel! -, dass ADM ĂŒber alle FĂ€lle hinweg neutraler entscheidet als Personen.

Als grosser Treiber kommen die Daten hinzu: Es besteht viel Druck diese zu brauchen, auch aus Verwaltungssicht. Und nur Software kann hier wirklich skalieren. In der MobilitĂ€t z.B. sind gerade die nicht-personenbezogenen Daten sehr spannend und könnten auch viel Nutzen generieren, um unsere “Stehzeug”-MobilitĂ€t effizienter zu machen.

Die Herausforderungen sind also erkannt. Aber wie könnten die nÀchsten Schritte aussehen? Wir denken an dieser Stelle laut weiter.

ADM hat also das Potential Entscheidungen neutraler und objektiver zu machen. Technik und Technikverliebtheit werden das aber nicht fĂŒr uns lösen - sondern im Gegenteil bergen sie die Gefahr, dass wir Diskriminierung oder Vorurteile institutionalisieren. Das Potential realisiert sich nicht von selbst, sondern muss ganz gezielt genutzt werden.

Überall wo also die Software entscheidet mĂŒssen wir das Ziel der Software wie auch die Lösungskonzepte der Software, wie dieses Ziel erreicht wird, umso genauer prĂŒfen. Bis jetzt hat “das Business” die Digitalisierung bestimmt und dabei viele öffentliche Themen besetzt. Zur technischen Sicht und der Business-Sicht soll spĂ€testens jetzt die ethische Sicht als verpflichtend hinzustossen. Und genau hier möchten wir gerne weiterdenken: die gezielte Nutzung des Potentials von ADM geschieht zwangslĂ€ufig in der konkreten Umsetzung: den IT-Projekten. Ethik muss erstens in die Rollen und Prozesse kommen, z.B. die Rollen Product/Epic/Business Owner in Scrum/SaFE. Oder entsprechenden Rollen die es erst noch zu entwickeln gilt. Zweitens dĂŒrfen aus Pilotierungen und Prototypen keine verbindlichen Entscheide gegenĂŒber den Betroffenen entstehen, ausser es gibt ein explizites Opt-in o.Ă€.. Resultate aus Pilotierungen und Prototypen gilt es genau auf NeutralitĂ€t und Transparenz zu prĂŒfen bevor Software produktiv gesetzt wird.

Drittens können wir als Gesellschaft nur gewinnen wenn Ethik Schulfach wird, und entsprechende Zertifizierungen ĂŒblich werden fĂŒr IT-Professionelle.

Auch die Gesellschaft muss sich dieses Thema breit aneignen. NeutralitĂ€t und Transparenz mĂŒssen als uns zustehende Rechte bekannt sein und eingefordert werden. So wie z.B. Barrierefreiheit und Datenschutz in das öffentliche Bewusstsein rĂŒckten.

Es geht dabei eben nicht nur darum, wie die Ethik in eGovernment und Civic Tech kommt, sondern auch wie Service-Public-Themen vom Business wieder in die Ownership der Verwaltung kommen. Denn der Markt allein hat keinen Anreiz zur NeutralitĂ€t, wĂ€hrend die Menschen starke Anreize haben, einfach das zu nutzen was gut funktioniert. Z.B. Big Tech Maps-Apps fĂŒr MobilitĂ€t. Vielleicht dĂŒrfen wir auf Public-Private-Partnerships hoffen, die hier ethisch vorspuren?

Und weil NeutralitĂ€t immer bestmögliche aber nicht absolute NeutralitĂ€t sein kann: es ist zumindest Transparenz ĂŒber ADM zu garantieren. Damit die Betroffenen wenigstens immer wissen, warum ein Entscheid wie ausfĂ€llt. Also z.B. warum mir welcher Weg von A nach B vorgeschlagen wird, welches Stelleninserat, welches Produkt oder welches amtliche Formular.
Das ist heute schon nicht der Fall? Genau.


Sag uns was du denkst