Studie AlgorithmWatch

Algorithmus-Entscheidungen bergen Risiken für Menschen

Veröffentlicht: 29.10.2020 | Geschrieben von: Markus Gärtner | Letzte Aktualisierung: 29.10.2020
Menschen auf Straße

Das Cover des Berichts ist ein cooles buntes Comicbild: Eine Sicht von oben auf eine belebte Straßenkreuzung mit Menschen, Autos, Häusern. Erst beim näheren Hinsehen sieht man die dünnen blauen Fäden dazwischen, Botschaft: Alles ist vernetzt. Das Fazit des Berichts ist jedoch weniger fröhlich: Algorithmen, die mittlerweile in vielen verschiedenen Bereichen wie Bildungssystemen, Justiz oder Gesundheitssektor genutzt werden, sind statt einer Hilfe oft eher ein Risiko für Menschen. Der Bericht „Automating Society“ stammt von der Nichtregierungsorganisation (NGO) AlgorithmWatch und befasst sich mit Automated Decision Making (ADM), automatisierter Entscheidungsfindung, wie Spiegel Online berichtet. Das heißt: Software entscheidet über menschliches Schicksal. Die zu Bertelsmann gehörende NGO hat den Einsatz in 16 Ländern untersucht.

So werden Algorithmus-Systeme in EU-Ländern eingesetzt

In Deutschland kommen solche Systeme etwa bei automatisch erstellten Prognosen in der Polizeiarbeit zum Einsatz – also in einem sehr sensiblen Bereich. Weitere prägnante Beispiele aus EU-Ländern:

  • Estland arbeitet an einer Art Roboter-Richter: Die Software soll anhand der eingereichten Dokumente über Klagen mit einem Streitwert von bis zu 7.000 Euro entscheiden – ein menschlicher Richter greift nur ein, wenn jemand das Urteil anfechtet.

  • Italien werkelt an einem System, das Daten und Bilder aus sozialen Netzwerken und anderen Online-Quellen sammelt, um so zum Beispiel Steuerbetrüger zu finden. Wessen Instagram-Profil also wohlhabender aussieht als seine Steuererklärung, der könnte durch Algorithmen angekreidet werden.

  • In Großbritannien errechnete ein Algorithmus die Schulabschlussnoten, weil die Schüler wegen der Corona-Pandemie ihre Abschlussarbeiten nicht schreiben konnten. Ergebnis: 40 Prozent der errechneten Zensuren waren schlechter als die Noten, die von den Lehrern vorhergesagt wurden.

Entscheiden durch Algorithmen: Risiko für Menschen

„Wenn wir den derzeitigen Stand von ADM-Systemen in Europa betrachten, sind Positivbeispiele mit echten Vorzügen selten“, so die Macher der Studie. Die große Mehrheit der Systeme setze Menschen eher einem Risiko aus, als ihnen zu helfen. Viele derartiger ADM-Projekte sind allerdings (noch) Tests, oft greifen Behörden oder Initiativen ein und stoppen derartige Vorhaben.

Die NGO AlgorithmWatch fordert daher mehr Transparenz: Die EU-Mitgliedstaaten sollen den Einsatz von ADM-Systemen öffentlich machen und dokumentieren. „Um das volle Potenzial algorithmischer Systeme zu nutzen, brauchen wir einen europäischen Rahmen mit kohärenten Regeln für Transparenz, Aufsicht und Durchsetzungsmechanismen, die aus einer informierten und inklusiven demokratischen Debatte entstehen“, sagt Sarah Fischer, Expertin für algorithmische Entscheidungsfindung bei der Bertelsmann Stiftung. Bestimmte Projekte – wie die vielkritisierte Gesichtserkennung – sollen ganz verboten werden. Die Technologie sei eine ernste Bedrohung für die Öffentlichkeit und für die Grundrechte.

Kommentare  

#2 lux 2020-11-08 23:10
Fortsetzung:

Ich kann nur hoffen, dass uns diese Technologie in anderen Bereichen so lange wie nur möglich erspart bleibt. Sie zerstört Lebenswert, weil sie dem Einzelnen die Handlungsmöglic hkeiten nimmt. Sie zerstört Kreativität, weil kreative neue Lösungen, dem Algorithmus nicht bekannt seinen können. Weil man also mit solchen am Algorithmus scheitern wird. Der Mensch bescheidet sich dadurch selbst und wird somit von der Maschine geformt.

Nicht lebenswert!
Zitieren
#1 lux 2020-11-08 23:10
Algo. Entscheidungen, darunter leidet wohl jeder Amazon Marktplatzverkä ufer in zunehmendem Maße. Alles ist bei Amazon entweder komplett algo. gesteuert, oder zumindest sehr stark Algo. gestützt.
Es sind die Dinge die einen immer wieder in der Wahnsinn treiben:

- Massen Sperrungen von Produkten, die angeblich die Richtline XYZ nicht einhalten (ohne das dies tatsächlich zutrifft und es wirklich geprüft wurde!)
- Angebliche VERMUTETE!!! Markenrechtsverletzungen
- Kommunikation mit dem Kundenservice, die Semi oder vollautomatisch beantwortet wird: Kommunikationss chleifen, die einen selbst nach stundenlangem schreiben über viele Nachrichten daran hindern einfache Probleme zu klären, weil immer wieder die selben unzutreffenden Standardantwort en kommen, die man schon längst widerlegt hatte.
- Automatisch, sofort gewährte Garantieanträge
- Angebots Deaktivierungee wegen "Preisfehlern"
- Automatische Veränderung/Ver fälschung von Angebots Titeln, Größenbezeichnu ngen und ähnlichem.
- Produktranking
uvam...


All das ist hoch Fehlerlastig und man kann meist nicht dagegen tun. Ich komme aus der IT und bin wirklich ein Technologiefreund.

Aber in der letzten Jahren Amazon habe ich gelernt, dass automatische Entscheidungsfi ndung, bei kritischen Themen, wirklich die Pest ist. Man geht gegen falsche Entscheidungen schon nicht mehr vor, weil man weiß, dass es sinnlos ist seine Zeit diesen Kampf gegen Windmühlen/Bots zu verschwenden. Und dass bei einem führenden Technologie Konzern wie Amazon. Nicht einmal dieser ist fähig nur halbwegs komplexe Entscheidungen automatisch richtig zu treffen und -noch wichtiger- Fehlentscheidun gen einfach zu korrigieren.

Das Handeln bei Amazon macht insbesondere durch diese Technologien keinen Spaß mehr. Man ist schlicht hilflos dem System ausgeliefert. Vorbei die Zeit in der man hoffen konnte, vielleicht doch noch auf den kompetenten Mitarbeiter zu stoßen, der einem helfen kann, weil er erkennt, dass der Algorithmus wieder mal einfach im Detail zu dumm war.

Fortsetzung im 2. Post
Zitieren

Schreiben Sie einen Kommentar

Newsletter
Abonnieren
Bleibe stets informiert mit unserem Newsletter.