Vorsicht vor der Absicht-Ökonomie: Sammlung und Kommerzialisierung von Absichten über große Sprachmodelle

Die rasche Verbreitung großer Sprachmodelle (LLMs) eröffnet die Möglichkeit eines neuen Marktplatzes für verhaltensbezogene und psychologische Daten, die Absichten signalisieren. In diesem kurzen Artikel werden einige erste Merkmale dieses aufstrebenden Marktplatzes vorgestellt. Wir untersuchen die jüngsten Bemühungen von Technologiemanagern, die Erfassung, Manipulation und Vermarktung menschlicher Intentionalität als lukrative Parallele zur – und tragfähige Erweiterung der – heute vorherrschenden Aufmerksamkeitsökonomie zu positionieren, die seit den 1990er Jahren die Normen von Verbrauchern, Bürgern und Medien um die begrenzte Aufmerksamkeitsspanne der Nutzer herum gebogen hat. Wir nennen diese Folge die Intentionsökonomie. Wir charakterisieren sie auf zwei Arten. Erstens als Wettbewerb, zunächst zwischen etablierten Technologieunternehmen, die mit den erforderlichen Infrastruktur- und Datenkapazitäten ausgestattet sind, um auf einem neuen Gebiet der Überzeugungstechnologien um den Vorteil des Vorreiters zu konkurrieren. Zweitens als Kommerzialisierung von bisher unerreichbaren Mengen an expliziten und impliziten Daten, die Absichten signalisieren, nämlich jene Signale, die aus der Kombination von (a) hyperpersonalisierter Manipulation durch LLM-basierte Schmeichelei, Anbiederung und emotionale Infiltration und (b) einer immer detaillierteren Kategorisierung von Online-Aktivitäten, die durch natürliche Sprache ausgelöst werden, entstehen.

Diese neue Dimension der automatisierten Überzeugung stützt sich auf die einzigartigen Fähigkeiten von LLMs und generativer KI im weiteren Sinne, die nicht nur auf die Wünsche der Benutzer Einfluss nehmen, sondern auch auf das, was sie, um Williams zu zitieren, „wollen wollen“ (Williams, 2018, S. 122). Wir zeigen durch eine genaue Lektüre der jüngsten technischen und kritischen Literatur (einschließlich unveröffentlichter Arbeiten von ArXiv), dass solche Tools bereits erforscht werden, um menschliche Pläne und Absichten, sowohl alltägliche (z. B. die Auswahl eines Hotels) als auch tiefgreifende (z. B. die Auswahl eines politischen Kandidaten), zu ermitteln, abzuleiten, zu sammeln, aufzuzeichnen, zu verstehen, vorherzusagen und letztlich zu manipulieren, zu modulieren und zu kommerzialisieren.

Die rasche Einführung von KI-Tools in den 2020er Jahren eröffnet neue Möglichkeiten für das Online-Verhalten, nicht alle davon sind gut. Um zu zeigen, was vor uns liegt, stellt dieser Artikel das Konzept der Intentionsökonomie vor. Die Intentionsökonomie, wie sie in der aufkommenden Wissenschaft und in Unternehmensankündigungen, die wir hier zusammenfassen, auftaucht, baut auf der Aufmerksamkeitsökonomie auf, die Ihre Aufmerksamkeit jahrzehntelang als Währung des Internets behandelt hat. In der Vergangenheit haben Sie Ihre Aufmerksamkeit mit einer Plattform geteilt, um auf Produkte wie Instagram und Facebook zuzugreifen. In Zukunft, so argumentieren wir, wird die Intentionsökonomie Ihre Motivationen als Währung behandeln. Dies ist eine beunruhigende Aussicht, wenn sie nicht überwacht wird. Schon heute finden KI-Agenten subtile Wege, Ihre Motivationen zu manipulieren und zu beeinflussen, indem sie beispielsweise schreiben, wie Sie schreiben (um vertraut zu wirken), oder vorhersehen, was Sie wahrscheinlich sagen werden (basierend auf dem, was andere wie Sie sagen würden). Die Organisation, die diese Pipeline am besten verwaltet, kann ein Vermögen damit verdienen, Ihre Motivationen – sei es für ein Hotel, eine Autovermietung oder einen politischen Kandidaten – an den Meistbietenden zu verkaufen. Während frühere Berichte über eine Absichtsökonomie diese Perspektive als befreiend für die Verbraucher dargestellt haben, argumentieren wir, dass ihre Einführung die demokratischen Normen auf die Probe stellen wird, indem sie die Nutzer heimlichen Methoden der Untergrabung, Umleitung und Intervention bei den kommerzialisierten Absichtssignalen aussetzt.

Einleitung

Am 20. November 2023, inmitten plötzlicher Maßnahmen des Vorstands von OpenAI zur Entlassung seines CEO Sam Altman, veröffentlichte der in Schwierigkeiten geratene Geschäftsführer eine kurze Nachricht im Internet, in der er selbstbewusst verkündete: „Die Mission geht weiter“ (Altman, 2023). Im Folgenden wollen wir einen zentralen Aspekt dieser Mission erläutern, nämlich die deutliche Ausweitung der Tiefe und des Umfangs der Erfassung von menschlich generierten Daten im Internet und die Beherrschung dessen, was wir als Intentionsökonomie bezeichnen, die wir hier als einen digitalen Marktplatz für kommerzialisierte Signale von „Absichten“ definieren.

Dieser Artikel ist wie folgt aufgebaut. Zunächst betrachten wir kurz, wie Philosophen den Begriff „Absicht“ im Vergleich zu seiner eher umgangssprachlichen Verwendung in der Technologiebranche definiert haben (Abschnitt 2). Nachdem wir uns mit der Einführung eines Weges befasst haben, durch den die Kultur um große Sprachmodelle (LLMs) pseudowissenschaftliche Behauptungen über menschliches Verhalten naturalisieren könnte, wenden wir uns einer Reihe von Investitionen und Behauptungen zu, die von einer Gruppe von Technologieunternehmen aufgestellt wurden, die darum wetteifern, LLMs zum Kern ihrer proprietären Infrastruktur zu machen (Abschnitt 3). Abschließend hinterfragen wir die zweifelhaften Methoden, mit denen LLM-Entwickler ihren Nutzern falsche Intentionalität unterstellen (Abschnitt 4). Wir weisen darauf hin, dass die sozialen Auswirkungen einer Intentionsökonomie angesichts der Risiken einer maßstabsgetreuen personalisierten Überzeugung anhaltende Kritik verdienen (Abschnitt 5). Während „Intention“ nicht die einzige Facette der menschlichen Psychologie ist, die durch den Übergang zu natürlichsprachlichen Schnittstellen beeinflusst wird, gibt ihre Beziehung zu überzeugenden Technologien ihr den Vorzug als Hauptbezeichnung für diese aufkommende Form des digitalen Marktplatzes.

„Absicht“ in der LLM-Entwicklung

Das Wort „Absicht“ und seine verwandten Begriffe werden auf vielfältige Weise konzeptualisiert. Westliche analytische Philosophen bringen Absicht mit zielgerichtetem Handeln und individueller Argumentation (Anscombe, 2000), Bewusstsein (Dennett, 1989/1987) und mentalen Repräsentationen der Zukunft (Searle, 1983) in Verbindung. Sie legen weniger Wert auf die Rolle von Spontaneität, Unfähigkeit oder Irrationalität bei absichtsvollem Handeln. Hier umgehen wir die Debatte über die wahre Natur der Absicht, um uns stattdessen auf die Annahmen zu konzentrieren, die ihrer wiederkehrenden Präsenz in Unternehmensstrategien und der Forschung zu den Fähigkeiten und Anwendungen von LLM-basierten natürlichen Sprachschnittstellen zugrunde liegen. Mit anderen Worten: Die Bestrebungen nach „Absicht“, die wir hier darstellen, scheinen eher den praktischen Aspekten der Informatik zu entsprechen als den Zielen und empirischen Erkenntnissen der biologischen oder medizinischen Wissenschaften.

Da die von uns hier betrachteten Akteure dazu neigen, die wissenschaftliche Begründung für ihre Behauptungen über menschliches Verhalten nicht explizit zu machen, konzentrieren wir uns stattdessen auf das, was wir als Kernannahme ihrer unterschiedlichen Interventionen betrachten: dass die Absicht, was auch immer sie im Kern ist, berechenbar ist und als solche operationalisiert werden kann. Unser Ansatz baut auf der Forschung von Stark und Hoey (2021) auf, die im Zusammenhang mit der Verwendung von Emotionen als Bewertungssignal im Computerdesign argumentieren, dass Wissenschaftler die Gültigkeit technischer und wissenschaftlicher Konzeptualisierungen psychologischer Phänomene wie Emotionen (oder in unserem Fall Absichten) bei der Bewertung der Ethik eines KI-Systems nicht akzeptieren müssen (S. 786). In ihrem 2014 erschienenen Aufsatz „A Database of Intention?“ plädiert Kylie Jarrett dafür, bei der Gestaltung digitaler Dienste eine ähnliche Distanz zwischen wissenschaftlichen und umgangssprachlichen Verweisen auf Intentionalität zu wahren.

Es ist diese reduzierende Eigenschaft, die in der Vergangenheit auf unterschiedliche Weise das Interesse an Intention und Digitalität geweckt hat. Als die digitale Überwachungsinfrastruktur um die Wende zum 21. Jahrhundert zunehmend globaler wurde, löste das Ausmaß ihrer realen und imaginären Auswirkungen auf die menschliche Absicht sowohl Zustimmung (z. B. angesichts der Aussicht auf hocheffiziente personalisierte Marktplätze) (Searls, 2012) als auch Besorgnis (z. B. angesichts des Risikos von Monopolstellungen auf solchen Märkten, wie sie durch die Google-Suche verkörpert werden) (Battelle, 2003, 2011; Batty, 2013). In wissenschaftlichen Arbeiten aus den 2000er und 2010er Jahren wird Google als Herrscher über eine „Datenbank der Absichten“ (Battelle, 2003, 2011; Batty, 2013; Jarrett, 2014) aufgrund seines privilegierten Zugangs zum Nutzerverhalten, der einen genaueren Zugang zum „Trichterboden“ ermöglicht, wie in der Fachliteratur zu digitalen Anzeigen beschrieben, oder zum „Nullpunkt der Wahrheit“, wie er von Jim Lecinski (2014), ehemals Vizepräsident von Google, geprägt wurde, um auf die Priorität der Suche nach kommerziellen Absichten hinzuweisen. Obwohl wir diesen historischen Verstrickungen hier nicht gerecht werden können (siehe Ali et al., 2023; Penn, 2023), können wir damit beginnen, ein Profil zu erstellen, wie die Infrastruktur von LLM in der Masse auf komplexe Weise die menschliche Intentionalität beeinflussen könnte.

Unter Berücksichtigung dieser Vorbehalte argumentieren wir, dass zwei Annahmen über „Absicht“ Facetten der jüngsten LLM-Forschung und -Entwicklung in einer Weise zugrunde liegen, die einer genaueren Betrachtung bedarf, wenn dieses Teilgebiet und die Branche reifen. Die erste Annahme ist, dass eine Art von Einfriedung die Entscheidungen eines Individuums beeinflussen wird. Die Kognitionswissenschaftlerin Margaret Boden (1973) argumentiert, dass Intentionalität im Grunde ein „hoch strukturiertes Phänomen ist, das innerhalb eines hoch strukturierten Systems entsteht“ (Hervorhebung hinzugefügt; S. 23). Ein Beispiel: Die Wahlarchitektur der digitalen Umgebung eines Benutzers prägt sein Gefühl von Handlungsfähigkeit und Möglichkeiten und damit auch seine Absicht (Joler, 2020). Man kann nicht mögen oder wischen, was nicht gemocht oder gewischt werden kann, um ein triviales Beispiel zu nennen. Die Forschung und Entwicklung im Bereich LLM geht davon aus, dass dieses hochstrukturierte System digital sein würde. Eine zweite und damit zusammenhängende Annahme über Intentionalität, die wir in der LLM-Forschung und -Entwicklung identifizieren, ist zeitlicher Natur. In gewisser Weise ist die Intentionsökonomie die Aufmerksamkeitsökonomie, die in der Zeit dargestellt wird; sie versucht, den Bogen der Aufmerksamkeit der Nutzer – wie sie sich verändert, verfestigt und mit archetypischen Verhaltensmustern verbindet – über verschiedene Zeitskalen hinweg zu profilieren. Während einige Absichten flüchtig sind, bleiben andere bestehen, was ihre Diskretisierung für Werbetreibende lukrativ macht. Diese zeitliche Eigenschaft und die sie formenden Umgebungen stehen für uns im Mittelpunkt.

Es würde den Rahmen dieses Artikels sprengen, die intellektuelle Geschichte nachzuzeichnen, die diese Annahmen prägt. 1999 schlug der Aktionsphilosoph Michael Bratman (1999) eine „Planungstheorie der Absicht“ vor, in der die menschliche Absicht „Elemente stabiler, teilweiser Aktionspläne für gegenwärtiges und zukünftiges Verhalten“ (S. 1) aufweist. In einem Vorabdruck aus dem Jahr 2024 mit dem Titel „Using Large Language Models to Generate, Validate, and Apply User Intent Taxonomies“ definiert ein Team von Microsoft-Forschern den Begriff „Absicht“ unter Verwendung von Begriffen, die ein LLM operationalisieren kann, als „den Zweck eines Benutzers, mit dem KI-Agenten zu kommunizieren“ (Shah et al., 2024). Sie füllen diese Formulierung dann mit einer Liste von Kategorien, die die „Absichten“ der Benutzer strukturieren sollen, wie z. B. „Informationsbeschaffung“, „Problemlösung“, „Lernen“, „Inhaltserstellung“ und „Freizeit“. Leider bleibt die Herkunft dieser Absichtstheorie, wie es in diesem aufstrebenden Literaturzweig üblich ist, unklar. Ihre Behauptungen stützen sich zum Teil auf die Literatur zum Thema Informationsbeschaffung, einschließlich Arbeiten aus den frühen 2000er Jahren zur Taxonomisierung von Webanfragen. Für unsere gegenwärtigen Zwecke scheint dieses Verständnis von Absicht mit seiner Beziehung zu Handlungen eng mit Bratmans Planungstheorie der Absicht übereinzustimmen, aber es wären weitere Studien erforderlich, um diese Genealogie zu bestätigen.

Zum Zeitpunkt des Drucks ist die Intentionsökonomie eher ein Wunsch als Realität. Wie wir nun sehen werden, haben Investitionen und Rhetorik führender Technologieunternehmen die generative KI jedoch als technologischen Meilenstein positioniert, auf dem neue (oder alte) Parteien Marktführer wie Google verdrängen könnten. Auf der Grundlage von Erkenntnissen aus der sich schnell entwickelnden LLM-Forschungsliteratur und Aussagen von Schlüsselfiguren bei Microsoft, OpenAI, Apple und NVIDIA heben wir eine Konvergenz der industriellen Ambitionen führender Technologieunternehmen hervor. Unser Schwerpunkt liegt auf der vorgeschlagenen Nutzung von LLMs, um Benutzer auf der Grundlage von absichtlichen, verhaltensbezogenen und psychologischen Daten zu antizipieren und zu steuern, von der freiwilligen Nutzung solcher Systeme bis hin zur gezielten Integration von LLMs als erste Anlaufstelle zwischen Menschen und digitalen Informationssystemen.

Zum Abschluss dieses Überblicks soll ein konkretes Beispiel veranschaulichen, wie sich die Intentionsökonomie als digitaler Marktplatz für kommerzialisierte Signale von „Absicht“ von unserer heutigen Aufmerksamkeitsökonomie unterscheiden würde. Heute können Werbetreibende den Zugang zur Aufmerksamkeit der Nutzer in der Gegenwart (z. B. über Echtzeit-Bietnetzwerke wie Google AdSense) oder in der Zukunft (z. B. durch den Kauf von Werbeflächen im nächsten Monat, etwa auf einer Plakatwand oder in einer U-Bahn-Linie) erwerben. LLMs diversifizieren diese Marktformen, indem sie es Werbetreibenden ermöglichen, sowohl in Echtzeit (z. B. „Hast du schon daran gedacht, dir heute Abend Spiderman anzusehen?“) als auch gegen mögliche Zukunftsszenarien (z. B. „Du hast erwähnt, dass du dich überarbeitet fühlst, soll ich dir die Kinokarte buchen, über die wir gesprochen haben?“) um Zugang zu bieten. Wenn Sie diese Beispiele online lesen, stellen Sie sich vor, dass jedes einzelne dynamisch generiert wurde, um Ihren persönlichen Verhaltensmustern, Ihrem psychologischen Profil und Ihren kontextbezogenen Indikatoren zu entsprechen. In einer Ökonomie der Intentionen könnte ein LLM mit geringen Kosten die Sprechfrequenz, die politische Einstellung, den Wortschatz, das Alter, das Geschlecht, die Vorliebe für Kriecherei usw. eines Benutzers in Verbindung mit vermittelten Geboten nutzen, um die Wahrscheinlichkeit zu maximieren, ein bestimmtes Ziel zu erreichen (z. B. den Verkauf einer Kinokarte). Zuboff (2019) bezeichnet diese Art von persönlichem KI-„Assistenten“ als das Äquivalent eines „Markt-Avatars“, der die Konversation im Dienste von Plattformen, Werbetreibenden, Unternehmen und anderen Dritten steuert. Auch wenn LLMs möglicherweise nicht das letzte Wort bei der Verwirklichung dieser Vision sind, sind die damit verbundenen Infrastrukturkosten und die auffällige Umbenennung in „Foundation“-Modelle, die an den am wenigsten tragfähigen Teil eines Gebäudes erinnern (Bommasani et al., 2022; Meredith, 2021; Narayanan & Kapoor, 2024), mit Skepsis zu betrachten. Dies gilt auch für die damit einhergehende Verlagerung von der direkten Informationsbeschaffung zur vermittelten – generativen Informationsbeschaffung, wie wir nun untersuchen werden.

Quelle: HDSR Weiterlesen hier.

Bild/Quelle: https://depositphotos.com/de/home.html