Algorithmische und KI-basierte Systeme werden sowohl von Behörden als auch von Unternehmen immer häufiger eingesetzt – unter anderem auch, um Prognosen zu erstellen, Empfehlungen zu geben oder Entscheide zu fällen. Ihr Einsatz kann allerdings zu Diskriminierungen führen. AlgorithmWatch CH fordert deshalb, dass das heutige Diskriminierungsverbot in der Schweiz verstärkt werden muss. Dieses Anliegen findet nun auch in der Politik Gehör.
Oft sind wir uns nicht bewusst, dass sogenannte Künstliche Intelligenz (KI) und algorithmische Systeme in verschiedensten Bereichen wichtige Entscheidungen für und über uns treffen. Sie sollen unsere Stellenbewerbungen aussortieren, Steuererklärungen automatisch bearbeiten, Krankheiten diagnostizieren, Verbrechen vorhersagen, das Rückfallrisiko von Straftäterinnen und Straftätern bewerten oder die Chancen der Arbeitsmarktintegration von Geflüchteten vorhersagen. Wenn solche Systeme eingesetzt werden, kann das allerdings zu Diskriminierungen führen und bestehende Diskriminierungsmuster verstärken.
Wie können Algorithmen diskriminieren?
Algorithmen sind weder neutral noch objektiv. Sie werden von Menschen gemacht, die dabei bestimmte Annahmen treffen, gewisse Interessen und Ziele verfolgen. Wenn nicht aktiv etwas dagegen unternommen wird, können sich die in einer Gesellschaft bereits existierenden strukturellen Diskriminierungsmuster so im Output der Algorithmen widerspiegeln. Diese Diskriminierungen können verschiedene Ursachen haben:
- die verwendeten Daten: fehlende Repräsentativität, veraltete Daten, unzureichende Datenaufbereitung;
- der Algorithmus selbst: welche Parameter werden im Modell berücksichtigt, welche nicht;
- die Art und Weise, wie er verwendet wird: welchen Bedarf soll das System decken und wie wird es in der Praxis angewendet.
Diskriminierungen können dabei in den verschiedensten Anwendungsbereichen stattfinden und alle Gruppen betreffen – jene, die durch das bestehende Diskriminierungsverbot[1] geschützt sind sowie andere, die dies nicht sind, weil das Merkmal, aufgrund dessen die Mitglieder der Gruppe diskriminiert werden, nicht in Artikel 8 der Bundesverfassung aufgeführt ist (z.B. Gewicht, Rechtsstatus).
«Algorithmen werden von Menschen gemacht, die dabei bestimmte Annahmen treffen, gewisse Interessen und Ziele verfolgen.»
Ein besonders bekanntes Beispiel ist der «Kindergeldskandal»: In den Niederlanden wurde im Jahr 2019 bekannt, dass die Steuerbehörden einen selbstlernenden Algorithmus zur Erstellung von Risikoprofilen verwendet hatten, um einen möglichen Betrug beim Bezug von Kindergeld zu erkennen. Infolgedessen bestraften die Behörden Familien aufgrund des blossen Verdachts auf Betrug. Die Folgen: Zehntausende von Familien – mit geringem Einkommen oder mit Migrationshintergrund – wurden fälschlicherweise aufgefordert, über Jahre erhaltene Kindergelder zurückzuzahlen. Die dadurch entstandenen massiven Schulden trieben einen Grossteil von ihnen in die Armut, mehr als 1000 Kinder wurden in Pflegefamilien untergebracht. Die Datenschutzbehörde kam zum Schluss, dass die Verarbeitung der Daten durch das eingesetzte System diskriminierend war.
Welche Lücken gibt es im Diskriminierungsschutz?
Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch algorithmische Systeme. Dies ist unter anderem darauf zurückzuführen, dass Diskriminierung durch Algorithmen:
- für Betroffene oft schwer erkennbar ist,
- systemische Wirkungen haben kann (da die Diskriminierung oft im System selbst verankert ist und dadurch eine potenziell grosse Anzahl Menschen betreffen kann) und
- sich oft aus sogenannten Proxy-Variablen ergibt, indem aus bekannten Merkmalen der Person, wie etwa der Postleitzahl des Wohnortes, systematisch und automatisiert Rückschlüsse auf den sozioökonomischen Status und den Migrationshintergrund abgeleitet werden.
«Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch algorithmische Systeme.»
Angesichts dieser Herausforderungen weist der aktuelle gesetzliche Schutz vor Diskriminierung in der Schweiz drei Hauptlücken auf:
- Das Diskriminierungsverbot bezieht sich grundsätzlich nur auf staatliche Akteure, ein allgemeines Diskriminierungsverbot für Private fehlt in der Schweiz. Algorithmische Systeme werden jedoch insbesondere von privaten Unternehmen in grosser Zahl entwickelt und eingesetzt.
- Der bestehende gesetzliche Rahmen reicht nicht aus, um den besonderen Eigenschaften der algorithmischen Diskriminierung zu begegnen. Beispielsweise wird die Tatsache, dass die Diskriminierung oft aus der Kombination von mehreren geschützten Merkmalen entsteht, nicht berücksichtigt.
- Für einen effektiven Schutz vor Diskriminierung fehlen wirksame Rechtsmittel, wie etwa ein kollektives Klagerecht. Denn hinsichtlich algorithmischer Diskriminierung ist die Durchsetzung durch Einzelpersonen besonders herausfordernd, da Betroffene schwer zu identifizieren sind und oft nicht über die notwendige Zeit und Mittel verfügen, um Rechtsmittel zu ergreifen.
Der Diskriminierungsschutz in der Schweiz muss gestärkt werden, um gegen algorithmische Diskriminierung effektiv zu schützen.[2]
Was macht die Politik?
Die Schweiz hat den Regulierungsbedarf in Bezug auf KI anerkannt. Der Bundesrat hat am 12. Februar 2025 einen Grundsatzentscheid zur Regulierung von KI getroffen. Er anerkennt, dass KI zum Schutz der Grundrechte reguliert werden muss, und strebt etwa an, die KI-Konvention des Europarates zu ratifizieren. Dies ist ein wichtiges Signal, dass Menschenrechte, Demokratie und Rechtsstaatlichkeit im Umgang mit KI geschützt und gefördert werden müssen. Allerdings erscheinen die Pläne des Bundesrates noch zaghaft, nicht umfassend und wenig weitsichtig. Die ersten Massnahmen sind erst für Ende 2026 geplant.
Eine erste Version dieses Beitrags ist erschienen bei Humanrights.ch.
[1] vgl. Bundesverfassung, Artikel 8, Absatz 2: «Niemand darf diskriminiert werden, namentlich nicht wegen der Herkunft, der Rasse, des Geschlechts, des Alters, der Sprache, der sozialen Stellung, der Lebensform, der religiösen, weltanschaulichen oder politischen Überzeugung oder wegen einer körperlichen, geistigen oder psychischen Behinderung.»
[2] Wie dies geschehen kann, zeigt AlgorithmWatch CH in seinem Themendossier auf, abrufbar unter https://algorithmwatch.ch/de/was-ist-algorithmische-diskriminierung/ (19.6.2025).
Estelle Pannatier ist Policy Managerin bei AlgorithmWatch CH. Sie hat einen Master in politischer Anthropologie und in Kommunikations- und Medienwissenschaften. Davor hat sie unter anderem für das Eidgenössische Departement für auswärtige Angelegenheiten EDA sowie für das Schweizer Radio und Fernsehen gearbeitet.