Das Cover des Berichts ist ein cooles buntes Comicbild: Eine Sicht von oben auf eine belebte Straßenkreuzung mit Menschen, Autos, Häusern. Erst beim näheren Hinsehen sieht man die dünnen blauen Fäden dazwischen, Botschaft: Alles ist vernetzt. Das Fazit des Berichts ist jedoch weniger fröhlich: Algorithmen, die mittlerweile in vielen verschiedenen Bereichen wie Bildungssystemen, Justiz oder Gesundheitssektor genutzt werden, sind statt einer Hilfe oft eher ein Risiko für Menschen. Der Bericht „Automating Society“ stammt von der Nichtregierungsorganisation (NGO) AlgorithmWatch und befasst sich mit Automated Decision Making (ADM), automatisierter Entscheidungsfindung, wie Spiegel Online berichtet. Das heißt: Software entscheidet über menschliches Schicksal. Die zu Bertelsmann gehörende NGO hat den Einsatz in 16 Ländern untersucht.
In Deutschland kommen solche Systeme etwa bei automatisch erstellten Prognosen in der Polizeiarbeit zum Einsatz – also in einem sehr sensiblen Bereich. Weitere prägnante Beispiele aus EU-Ländern:
„Wenn wir den derzeitigen Stand von ADM-Systemen in Europa betrachten, sind Positivbeispiele mit echten Vorzügen selten“, so die Macher der Studie. Die große Mehrheit der Systeme setze Menschen eher einem Risiko aus, als ihnen zu helfen. Viele derartiger ADM-Projekte sind allerdings (noch) Tests, oft greifen Behörden oder Initiativen ein und stoppen derartige Vorhaben.
Die NGO AlgorithmWatch fordert daher mehr Transparenz: Die EU-Mitgliedstaaten sollen den Einsatz von ADM-Systemen öffentlich machen und dokumentieren. „Um das volle Potenzial algorithmischer Systeme zu nutzen, brauchen wir einen europäischen Rahmen mit kohärenten Regeln für Transparenz, Aufsicht und Durchsetzungsmechanismen, die aus einer informierten und inklusiven demokratischen Debatte entstehen“, sagt Sarah Fischer, Expertin für algorithmische Entscheidungsfindung bei der Bertelsmann Stiftung. Bestimmte Projekte – wie die vielkritisierte Gesichtserkennung – sollen ganz verboten werden. Die Technologie sei eine ernste Bedrohung für die Öffentlichkeit und für die Grundrechte.