Die dystopische Episode „Nosedive“ der Fernsehserie „Black Mirror“ zeichnet ein Bild der Zukunft der Gesellschaft, die vollständig metrisiert ist: Menschen bewerten ihr Verhalten gegenseitig nach einem Punktesystem. ‚Gutes‘ Verhalten bedeutet Pluspunkte, ‚schlechtes‘ Verhalten wird mit Minuspunkten bestraft. Flankiert wird diese gegenseitige Kontrolle über allerlei staatliche Überwachungssysteme. Über Gesichtserkennungstechnologien beispielsweise wird jeder Schritt der Menschen verfolgt.

Von Panoptikum zum Synoptikum

Die Episode war schon bei ihrer Erstausstrahlung im Jahr 2016 eine Anspielung auf und Kritik an dem sich anzeichnenden Social Credit System in China. Aber so weit müssen wir gar nicht schauen – auch in der westlichen Welt kennen wir bereits heute ähnliche Entwicklungen.

‚Lacie Pound‘, die Hauptprotagonistin der Folge, stürzt in dieser Punktegesellschaft ab. Ihr Verhalten führt zu einem sinkenden ‚Score‘, sie gerät in eine Abwärtsspirale. Am Ende landet sie im Gefängnis. Es ist der einzige Ort, an dem man in dieser Gesellschaft frei sein kann.

Die Metapher des Gefängnisses ist in der Diskussion zur Digitalisierung wichtig und dient nicht selten als Sinnbild für den neuen Überwachungskapitalismus, der uns Freiheit nimmt, uns auf eigentümlich Art und Weise einsperrt. In Jeremy Benthams Skizze eines Gefängnisses als ‚Panoptikum‘ beobachten wenige (Wärter) viele (Gefangene). In Zeiten der Digitalisierung hat sich dies verlagert, so der norwegische Kriminologe Thomas Mathiesen (1997). Er spricht von einem ‚Synoptikum‘, in dem jeder und jede jeden beobachtet und damit sozial kontrolliert. Ob diese Beobachtung tatsächlich stattfindet oder nicht, ist für die Wirkung irrelevant. Wie Verhaltensökonomen gezeigt haben, dürfte bereits das Wissen möglicher sozialer ‚Maßregelungen‘ (welch ein schönes deutsches Wort) eine ‚abschreckende Wirkung‘ auf das Handeln haben.

So wichtig die wissenschaftlichen Arbeiten und politischen Diskussionen zu Fragen der Überwachungsgesellschaft sind – es gibt noch andere, ebenso wichtige Fragen, die wir uns dringend stellen sollten.

Freiheit als Abwesenheit von Zwang

Kontrolle und Überwachung sind Begriffe, die mit einem spezifischen Freiheitsverständnis verbunden sind: der Freiheit ‚von etwas‘ – von Kontrolle, Sanktionen, Zwängen. Der Philosoph Isaiah Berlin (1969) nennt dies ‚negative‘ Freiheit. Dieses Freiheitsverständnis ist eng mit den liberalen Werten unserer westlichen Gesellschaften verbunden. Diese Idee einer Befreiung von Zwängen schwingt auch mit, wenn wir die Möglichkeiten und Gefahren der Digitalisierung diskutieren. Entsprechend sind die wichtigsten Parameter für Freiheit oft jene, die dem liberalen – und negativen – Freiheitsverständnis entsprechen: Autonomie, Unabhängigkeit, Wahlmöglichkeiten. Doch obwohl dieser Fokus uns wertvolle Einsichten beschert hat – die Gefahr der zunehmenden Überwachung für die Meinungsfreiheit und die Demokratie, beispielsweise –, riskieren wir dadurch auch, andere, ebenso wichtige Erkenntnisse zu verpassen.

Wie jeder andere “im Wesentlichen umstrittene Begriff” (Gallie1956) wurde auch “Freiheit” aus verschiedenen Perspektiven betrachtet, definiert und interpretiert. Zwei davon sind erwähnenswert: ‚positive‘ und ‚soziale‘ Ansätze zur Freiheit. Der erste Ansatz befasst sich mit der gesellschaftlichen Teilhabe und dem Streben nach der eigenen Version des ‚Guten‘.

Im Kontext der Digitalisierung werden wir eingeladen, über die Werte und Ziele nachzudenken, die wir durch die Digitalisierung verkörpert, gefördert, und vielleicht sogar verwirklicht sehen möchten. Die Fragen, die wir uns stellen sollen, lauten also nicht nur: Wie können wir eine Überwachungsgesellschaft verhindern? Sondern auch: Was möchten wir an ihrer Stelle sehen? Welche gesellschaftlichen und politischen Ideale soll sie fördern – und wer darf das bestimmen?

Freiheit als soziales Prinzip und Problemfelder im Kontext der Digitalisierung

Auch das zweite Verständnis von Freiheit, das vom Frankfurter Sozialphilosophen Axel Honneth (2011) in die Diskussion gebracht wurde, ist relevant im digitalen Kontext: soziale Freiheit. Honneth argumentiert, dass wir nicht als asoziales ‚Ich‘ (‚I‘) in ‚Einzelhaft‘ leben, sondern als soziales ‚me‘ permanent mit anderen Menschen interagieren – in der Familie, in der Arbeitswelt, als Konsumenten, als Bürgerinnen. Die anderen Menschen, das Soziale machen uns aus. Unsere Mitmenschen konstituieren, wer wir als Person sind. Hegel (1821) nennt dies: ‘Bei-sich-selbst-Sein im Anderen’. Freiheit realisiert sich nicht nur durch sie, sondern in ihnen, wie umgedreht unser Handeln andere bestimmt. Es gibt ein „Wir im Ich“ und ein „Ich im Wir“ (Honneth 2010).

Die angedeutete Trias negativer, positiver und sozialer Freiheit sollte uns zu einem Gefängnisausbruch auffordern, ein Ausbruch aus einem allzu verengten Denken von Freiheit als die Abwesenheit von Zwang. Für die Diskussion im Kontext der Digitalisierung erscheinen uns dafür drei Problemfelder wesentlich:

Algorithmische Verzerrung

Erstens, die einschlägige Forschung zeigt deutlich, dass Software-Entwicklungen weiterhin überwiegend von einer spezifischen gesellschaftlichen Gruppe realisiert werden: weiße, gut ausgebildete Männer. Dies führt (gewollt oder ungewollt) dazu, dass algorithmische Systeme „Biases“ aufweisen, die eben genau jenes gesellschaftliche Milieu favorisieren und andere “bestrafen”. In der Codierung, dem Schreiben und Programmieren von Software, wird das “Wir” definiert und werden “relevante” Merkmale festgelegt.

Umgekehrt ist die starke Homogenität in den Entwicklungsabteilungen von Software-Unternehmen eine Quelle für systematische – und nicht nur zufällige – Benachteiligungen oder gar Unterdrückung anderer gesellschaftlicher Gruppen, die mitunter schlicht nicht gesehen werden.

Diskriminierung durch Algorithmen

Dies spiegelt sich, zweitens, in Diskriminierungen durch Algorithmen wider. Es war das Versprechen des Internets, Räume zu öffnen, ja eine räumliche Distanz ein Stück weit in den Hintergrund treten zu lassen. Und in der Tat können wir uns heute ja mit Menschen in virtuellen Räumen verbinden, Geschäfts- oder freundschaftliche Beziehungen pflegen, die vor 30 Jahren noch undenkbar waren. Dadurch haben sich die Möglichkeiten eines ‚Wir‘ erweitert.

Zugleich deuten die Entwicklungen der vergangenen Jahre auf etwas hin, das einem ‚Wir‘ eher abträglich denn zuträglich ist. Wir bewegen uns in sozialen Medien in ‚Bubbles‘ und Echokammern mit unseres Gleichen, konstituieren in diesen neuen Territorien nicht selten ein ‚Wir‘ versus ‚Ihr‘ – oder gar ein noch stärkeres Gegenüber als ‚Sie‘. Diskursfronten verhärten sich. Diese Entwicklungen nehmen uns vor dem Hintergrund von Honneths Parametern unsere soziale Freiheit, die uns als Person ausmacht – oder ausmachen sollte.

Notwendigkeit von Digitalkompetenz

Ebenso wenig wie eine Demokratie ohne aufgeklärte Bürgerinnen und Bürger funktioniert, wird, drittens, eine digitale Zukunft nicht ohne Digitalkompetenz und Medienverantwortung des oder der Einzelnen gelingen können. Digitalkompetenz meint dabei nicht notwendigerweise eine Kenntnis von Programmiersprachen, sondern wesentlicher: ein Wissen um das eigene Handeln (und dessen Auswirkungen) auf digitalen Territorien. Damit geht unter anderem auch eine Verantwortung der User einher, sich nicht hinter ‚Unklar-Namen‘ zu verstecken oder Medien-Beiträge nur auf der Grundlage einer Überschrift zu kommentieren, um nur zwei Beispiele zu nennen, sondern sich eine substanzielle, aufgeklärte Meinung zu bilden. Das wäre ein wichtiger Schritt zur positiven Freiheit der und des Einzelnen in einer liberalen Gesellschaft.

Gesellschaftspolitische Optionen für eine positive Freiheit

Wenn wir fragen, wie wir in diesen drei Aspekten gesellschaftspolitisch weiterkommen können, so dürften die folgenden Optionen handlungsleitend sein: Selbst-Bindungen durch Unternehmen, ‚harte‘ Regulierungen durch politische Institutionen, Stärkungen der Zivilgesellschaft.

Selbstbindung

Hinsichtlich der ersten Option, einer Selbstbindung von Unternehmen, darf man zunehmend skeptisch sein. Seit der Anhörung des Facebook-Gründers Mark Zuckerberg vor dem US-amerikanischen Kongress anlässlich des Verdachts einer politischen Einflussnahme der Präsidentschaftswahlen 2016 schießen zwar ethische Selbstverpflichtungserklärungen in der Branche wie Pilze aus den Böden, ob dies jedoch mehr als ‚Talk‘ ist, kann durchaus gefragt werden. Seele und Schulz gehen eher von einem „Machinewashing“ aus. Zwei Beispiele: Google entließ Ende 2020 die prominente Forscherin Timnit Gebru aus der eigenen Abteilung zur künstlichen Intelligenz und Ethik, die sich anschicke einen kritischen Forschungsartikel zu publizieren. Facebook schränkte 2021 den Zugang des “Ad Observatory” der New York University (NYU) ein, weil dort zu Fragen von Falschinformationen von politischen ‘Ads‘ geforscht wurde.

Schon der Wirtschaftshistoriker Karl Polanyi (1973) war hinsichtlich der Frage, ob der Kapitalismus von innen heraus verändert werden kann, skeptisch; eine Überlegung, die die Sozialpsychologin Shoshanna Zuboff (2019: 326) auf den Überwachungskapitalismus überträgt: “industrial civilization flourished at the expense of nature and now threatens to cost us the Earth, an information civilization shaped by surveillance capitalism will thrive at the expense of human nature and threatens to cost us our humanity.” Sowohl Polanyi als auch Zuboff sind kritisch und meinen “raw capitalism could not be cooked from within” (Zuboff 2019: 326). Vielversprechender als auf eine Verantwortungsübernahme durch Technologieunternehmen zu setzen, erscheinen die anderen beiden Optionen im Sinne von Polanyis Idee von ‚Gegenbewegungen‘.

Politische Regulierung

Die Europäische Union hat in den vergangenen Jahren verschiedene Initiativen zur politischen Regulierung lanciert, allen voran der aus dem April des Jahres resultierenden Vorschlag „Zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz“[2]. Dieser erste Rechtsrahmen für KI in der EU ist zweifelsohne ein wichtiger Meilenstein für die Regulierung datenbezogener Geschäftspraktiken. Diese und ähnliche ‚harte‘ Gesetzesinitiativen sollten jedoch durch mit mehr partizipatorischen Elementen flankiert werden.

Zivilgesellschaftliche Aktivitäten

Insbesondere die Zivilgesellschaft, vor allem in der organisierten Form von Nichtregierungsorganisationen, ist von entscheidender Bedeutung für eine echte Neugestaltung im Bereich der KI. NGOs können zum einen die Funktion kritischen Begleiter oder Gegenspieler gegenüber ökonomisch-geleitete Interessen in diesem Entwicklungsprozess erfüllen und dabei sowohl ihre Sachkenntnis als auch gesellschaftliche Perspektiven einbringen. Die Stärkung ihrer Stimme, aber auch die Ausstattung mit ausreichenden finanziellen Mitteln wäre dafür wesentlich.

Wichtig dürfte die Rolle zivilgesellschaftlicher Akteure jedoch noch aus einem weiteren Grund sein: Seitens der Unternehmen, aber auch seitens der Politik hat sich in den vergangenen Jahren die Formel ‚humans in the loop‘ eingebürgert, mit der ausgedrückt werden soll, dass der Mensch bei den Entwicklungen der Digitalisierung stets berücksichtigt, ja im Mittelpunkt stehen soll. Diese Metapher jedoch verengt trotz eines gewissen Charmes den Denk- und Diskursraum, denn sie verortet den Menschen a priori in einer (Programmier-)Schleife. Sie drückt begrifflich aus, was wir in der praktischen Diskussion gut beobachten können: Der zunehmende Einsatz von KI scheint unaufhaltsam, die Zukunft ‚vorprogrammiert‘ – und zwar in allen Lebensbereichen.

Was damit in den Hintergrund rückt, ist die grundsätzlichere Frage, in welchen Bereichen unserer Gesellschaft wir den Einsatz von KI aus prinzipiellen Gründen ausschließen wollen, weil sie einer wohlverstandenen Idee von Freiheit entgegenstehen, ja womöglich gar unsere demokratisch-liberale Grundordnung gefährden. Wollen wir KI-gestützte Waffensysteme, Überwachungssysteme durch Gesichtserkennungstechnologie, sollen Algorithmen Triage-Entscheidungen in der Notfallmedizin treffen dürfen?

Diese und viele weitere Fragen zu adressieren und darüber einen gesellschaftlichen Verständigungsprozess zu initiieren wäre die Voraussetzung für eine wahrhaft menschenzentrierte Entwicklungsperspektive der Digitalisierung, bei der der Mensch nicht lediglich „in the loop“, sondern „outside the code“ ist.

Literatur

Gallie, Walter Bryce (1956): Essentially Contested Concepts. In: Proceedings of the Aristotelian Society. 56, 1956, S. 167–198.

Hegel, Georg W. F. (1821). Grundlinien der Philosophie des Rechts.

Honneth, Axel (2010). Das Ich im Wir: Studien zur Anerkennungstheorie. Berlin: Suhrkamp Verlag.

Honneth, Axel (2011). Das Recht der Freiheit: Grundriss einer demokratischen Sittlichkeit. Berlin: Suhrkamp Verlag.

Mathiesen, T. (1997). The Viewer Society. Michel Foucault’s “Panopticon” Revisited. Theoretical Criminology, 1(2), 215-234.

Polanyi, K. (1973). Die große Transformation: Politische und ökonomische Ursprünge von Gesellschaften und Wirtschaftssystemen. Frankfurt am Main: Suhrkamp.

Seele, P., Schultz M. D. (2022) From Greenwashing to Machinewashing: A Model and Future Directions Derived from Reasoning by Analogy, Journal of Business Ethics:01-27

Zuboff, S. (2019). The Age of Surveillance Capitalism. New York: Public Affairs.

Prof. Dr. Thomas Beschorner
ist Professor für Wirtschaftsethik und Direktor des Instituts für Wirtschaftsethik der Universität St. Gallen.
E-Mail: thomas.beschorner@unisg.ch
Web: www.iwe.unisg.ch

Roberta Fischli
ist Lehr- und Forschungsassistentin an der School of Economics and Political Science (SEPS) der Universität St. Gallen. Zurzeit forscht sie als visiting researcher an der Georgetown University und der University of California Berkeley.
E-Mail: roberta.fischli@unisg.ch
Web: www.globalnorms.unisg.ch