AI and I

AGI? Eher AGU - Artificial General Unintelligence

Kürzlich habe ich einige Zeit damit verbracht, ein Venn-Diagramm der Fähigkeiten von aktuellen LLMs und Menschen zu zeichnen. Es kam anders heraus, als ich dachte:

In Bezug auf die Fähigkeiten gibt es markante Unterschiede zwischen LLMs und Menschen. Aktuelle LLMs verfügen mittlerweile über ein Kontextfenster von einer Million Token – das sind ungefähr 2.500 Seiten eines Buches. Und sie kennen diesen Inhalt auswendig. Unvorstellbar für einen Menschen.

Außerdem, egal wie viele dumme Fragen man stellt, LLMs werden niemals müde oder genervt. Sie können dieselbe Frage eine Million Mal beantworten, ohne die Geduld zu verlieren.

Ein weiteres bemerkenswertes Merkmal aktueller Chain-of-Thought-LLMs ist ihre Fähigkeit, (wenn man es sich leisten kann) parallel in mehrere Richtungen zu schlussfolgern.

Menschen hingegen haben die unglaubliche Fähigkeit, Werkzeuge wie Whiteboards zu benutzen, um ihr Gedächtnis und ihre Denkfähigkeit zu verbessern. Das steigert unsere bescheidene Intelligenz ganz fundamental – kein großer Fortschritt in der Wissenschaft wäre vorstellbar, wenn sich die Wissenschaftler allein auf ihr eigenes Gedächtnis hätten verlassen müssen.

Und Menschen haben ein grundlegendes Verständnis davon, wie die Welt funktioniert, welche Regeln sie bestimmen. Sie verstehen, dass die Zahlen auf einer Anzeige oder einer analogen Uhr kontinuierlich ansteigen und dass der gleiche Abstand auf einer solchen Anzeige immer die gleiche Distanz darstellt. Es sei denn, es ist wegen einer logarithmischen Skala oder etwas Ähnlichem nicht der Fall. KIs sind darin notorisch schlecht. Glaube mir. Ich habe immer wieder versucht, Uhren zu erstellen.

Interessanterweise fand ich es viel schwieriger, coole Eigenschaften zu finden, die Menschen und LLMs gemeinsam haben, als Probleme zu finden, die wir gemeinsam haben (und die normale, algorithmische Software nicht hat):

• Wenn sie Sätze aussprechen, müssen sowohl Menschen als auch LLMs sie Wort für Wort produzieren. Versuche mal selbst, einen Satz zu sagen und 3 Wörter auszulassen, die du sagen wolltest. Unmöglich. Genauso wie LLMs Sätze Token für Token produzieren. Interessanterweise gilt für mich dasselbe für Musik. Manchmal wird ein Lied gespielt, das ich kenne, bei dem ich mich aber einfach nicht an den Titel erinnern kann. Ich muss mental durch das Lied vorspulen, bis der Titel gesungen wird. Ich kann nicht einfach zum Titel springen.
• Manchmal halluzinieren Menschen und LLMs. Man erinnert sich normalerweise nicht daran, aber glaube mir, dein Gedächtnis lässt dich oft im Stich (siehe auch das großartige Buch "The Memory Illusion" von Julia Shaw), und dann erfindet dein Verstand Dinge. LLMs tun dasselbe, aber wir vertrauen ihnen weniger und überprüfen sie häufiger. Und veröffentlichen jede einzelne Halluzination, die wir finden.
• Sowohl Menschen als auch LLMs scheitern an schockierend einfachen Tests. Die Literatur ist voll von grausamen Denkfehlern von Menschen. Es gibt Dutzende von falschen mentalen Abkürzungen, die wir nehmen und die zu allen Arten von kognitiven Verzerrungen führen. Und wir haben kein Verständnis für exponentielles Wachstum, egal wie sehr wir uns bemühen. Ich verstehe, dass die Ursache für LLM-Halluzinationen eine andere ist – die plausibelste Fortsetzung bei zu begrenztem Wissen ist oft, Dinge zu erfinden. Aber das Ergebnis ist dasselbe: Wir beide scheitern an einfachen Denkaufgaben.

Fazit

Es scheint, dass das, was uns eint, unsere Fehler sind. Und unsere Fähigkeiten sind so grundverschieden, dass es vielleicht eine schlechte Idee ist, zu versuchen, LLMs zu einer AGI zu entwickeln, d.h. nach künstlicher allgemeiner Intelligenz zu streben, indem man die menschliche Kognition nachahmt. Stattdessen sollten wir uns vielleicht darauf konzentrieren, die einzigartigen Stärken von Menschen und LLMs zu nutzen und sie so zu kombinieren, dass sie sich gegenseitig in ihren Fähigkeiten ergänzen. Dieser Ansatz könnte zu effektiveren und zuverlässigeren Systemen führen, anstatt ein schwer fassbares Ziel menschenähnlicher Intelligenz in Maschinen zu verfolgen.

Okay, das war, was das LLM schlussfolgerte (ich schreibe in VS Code mit Copilot an). Was ich eigentlich schreiben wollte: Vielleicht ist es eine schlechte Idee, nach einer AGI zu streben, einer KI mit einer Obermenge unserer Fähigkeiten und Fertigkeiten. Wie Ray Kurzweil in "The Singularity is Nearer" schrieb, sind KIs sehr fremde Intelligenzen. Versuchen wir nicht, sie menschlicher zu machen. Entwickeln wir sie zu Partnern, die unsere Fähigkeiten und Fertigkeiten ergänzen.

Coding

Nehmen wir das Programmieren als Beispiel. Inzwischen sind LLMs ziemlich gut darin, Code zu schreiben, aber wiederum auf eine ganz andere Weise als Menschen. Sie können Code viel schneller produzieren als wir, und auf einer niedrigen Ebene ist dieser Code typischerweise korrekter als unserer. Ich habe zum Beispiel noch nie gesehen, dass ein LLM vergisst, einen Schleifenzähler zu inkrementieren. Und sie werden nicht müde, große Codestücke zu schreiben. Das macht "KI-Programmierung" zu einem anderen Problem, das anders gelöst werden muss als "menschliche Programmierung", wo jede Zeile eine mentale Anstrengung ist, die einen auslaugt, und wo die Erfahreneren unter uns im Voraus Zeit damit verbringen, ein mentales Modell davon zu bekommen, wie das Ganze funktionieren sollte und warum dies das Problem lösen wird.

Ein guter Weg, mit LLMs zu programmieren, ist also, einen riesigen Satz automatisierter Tests zu haben, um den Code zu verifizieren. Dann kann man den LLM-Agenten Code ändern, ihn testen, darüber nachdenken, was falsch ist, ihn wieder ändern lassen, und so weiter, bis es funktioniert. Und wenn es fehlschlägt, ändert man die Spezifikation, kehrt zum letzten Git-Zustand zurück und fängt von vorne an. Man könnte sich auch eine IDE ausdenken, in der 5 LLMs unabhängig voneinander an einer Aufgabe arbeiten, und nach jedem Schritt wird die Lösung ausgewählt, die am schnellsten vorankommt, um fortzufahren. Nichts davon würde für einen Menschen sinnvoll sein.

Die optimale Art, mit und ohne LLMs zu programmieren, ist unterschiedlich, und ich prognostiziere, dass sie in Zukunft noch weiter auseinanderdriften wird. Zu versuchen, einen LLM-Programmierer zu schaffen, der langsam und methodisch wie ein Mensch arbeitet, ist nicht unbedingt der beste Weg.

Und mehr

Ich bin kein Physiker. Ich bin auch kein Chemiker. Aber ich kann mir vorstellen, dass dasselbe für diese und andere Wissenschaftsbereiche gilt. Der Versuch, auf eine AGI hinzuarbeiten, ist verschwenderisch; der Versuch, die Fähigkeiten der KI in Richtungen außerhalb der menschlichen Fähigkeiten zu erweitern, ist ein besserer Weg.