Ich arbeite seit einigen Jahren in der Softwareentwicklung, und bei uns im Team wird gerade eine neue Entscheidungslogik implementiert, die in bestimmten Fällen automatisch Kreditanträge ablehnt. Mir ist aufgefallen, dass das System manchmal sehr knappe Grenzfälle trifft, bei denen ich selbst anders entscheiden würde. Es fühlt sich seltsam an, Code zu schreiben, der für Menschen reale Konsequenzen hat, den ich aber nicht mehr nachvollziehen kann, sobald er einmal läuft. Ich frage mich, ob andere auch dieses beunruhigende Gefühl kennen, wenn die Verantwortung so an eine Blackbox abgegeben wird.
Ja das Gefühl kenne ich gut. Wenn eine Kreditentscheidung knapp ausfaellt und der Code entscheidet wirkt die Begruendung oft unklar und die Verantwortung scheint in einer Blackbox zu verschwinden
Aus technischer Sicht geht es um das Gleichgewicht zwischen Praxistauglichkeit und Nachvollziehbarkeit. Man will Grenzfaelle handhaben doch Daten liefern oft knappe Abgrenzungen die schwer zu begruenden sind. Erklärbare Modelle koennten helfen auch wenn das manchmal zu Lasten der Performance geht
Was spricht eigentlich dagegen dass ein Mensch in Grenzfaellen nochmals entscheidet statt alles der Maschine zu ueberlassen?
Ich arbeite seit Jahren mit Code und kenne das nervige Gefuehl wenn Grenzbereiche sich keiner eindeutig zuordnen lassen. Man wuerde gerne eine Pufferzone einbauen in der Zweifelsfaelle noch mal von Hand geprüft werden
Manche reagieren irritiert oder schuetzen sich hinter der Bequemlichkeit der Automatisierung. Vielleicht braucht es mehr Transparenz und klare Regeln wer wann entscheidet auch wenn die knappen grenzfaelle bleiben
Vielleicht geht es um eine andere Sicht auf das Thema. Statt eine schnelle loesung zu suchen koennte man Governance staerken. Ein Audit Trail fuer jede entscheidung mit Angaben zu datenquellen und regeln macht die verantwortung sichtbar ohne die Maschine zu entwerten
