Zur Feier des AI Appreciation Day rücken wir einen der nachdenklichsten Vorträge von Toronto Tech Week in den Fokus: „Frontiers of AI: Insights from a Nobel Laureate.“ Diese Präsentation beinhaltete eine Podiumsdiskussion zwischen dem Nobelpreisträger Geoffrey Hinton und dem Mitbegründer des 5,5-Milliarden-Dollar-Start-ups Cohere, Nick Frosst.
Geoffrey Hinton wird oft als der „Pate der KI“ bezeichnet. Er ist am bekanntesten für seine Pionierarbeit an künstlichen neuronalen Netzen, einschließlich des Backpropagation-Algorithmus, der die Grundlage für modernes Deep Learning legte. Seine Durchbrüche – wie die Mitentwicklung von AlexNet, das die Computer Vision revolutionierte – brachten ihm den Turing Award 2018 und, kürzlich, den Nobelpreis für Physik 2024 ein.
Während KI weiterhin unsere Welt prägt, bieten Hintons Einsichten eine zeitgemäße Reflexion darüber, wo wir waren, wo wir hinsteuern und worauf wir auf dem Weg achten sollten. Im Folgenden haben wir einige seiner wichtigsten Erkenntnisse festgehalten.
Die Bedeutung eines Wortes
Hinton, ein emeritierter Professor an der Universität Toronto, begann seine Präsentation mit einer Beschreibung von zwei Theorien zur Bedeutung eines Wortes, wobei die erste die symbolische KI ist. In dieser Theorie wird die Bedeutung eines Wortes durch seine Beziehungen und Muster der Ko-Occurrence mit anderen Wörtern geprägt und erfordert einen relationalen Graphen, um seine Definition kontextuell zu erfassen. Die Kernidee ist, dass Wörter in Isolation keine inhärente Bedeutung haben; vielmehr ergibt sich die Bedeutung aus dem Netz von Assoziationen und Kontexten, in denen Wörter erscheinen.
Die zweite Theorie stammt aus der Psychologie, in der die Bedeutung eines Wortes einfach eine große Menge semantischer Merkmale ist. Wörter, die ähnliche Dinge bedeuten, haben normalerweise ähnliche zugrunde liegende Eigenschaften. Man könnte sagen, dass Wörter aus Bündeln von semantischen Merkmalen oder Attributen bestehen – im Wesentlichen eine Checkliste von Eigenschaften, die das Konzept definieren.
Hinton beschrieb dann, wie er 1985 sein erstes kleines Sprachmodell schuf und de facto beide Theorien vereinte:
1. Lernen von Beziehungen (Theorie #1): Anstatt statische Beziehungen zu speichern, lernt das Modell, wie die Merkmale vorheriger Wörter in einer Sequenz die Merkmale des nächsten Wortes vorhersagen können.
2. Verwendung von Merkmalen (Theorie #2): Jedes Wort wird als eine Menge semantischer und syntaktischer Merkmale dargestellt. Daher könnte "Hund" Merkmale wie +Tier, +Säugetier, +hausgemacht, +Substantiv usw. zugewiesen werden.
Mit der Schaffung seines ersten Sprachmodells zeigte er, wie Wortbedeutungen sowohl merkmals- als auch beziehungsbasiert sein können. Beziehungen müssen nicht explizit gespeichert werden; sie entstehen aus gelernten Vorhersagemustern. Dasselbe System, das Merkmale lernt, kann lernen, wie diese Merkmale kontextuell miteinander in Beziehung stehen. Dies würde später die Grundlage für transformerbasierte Sprachmodelle bilden.
In seiner Präsentation erzählte Hinton von den nächsten 30 Jahren des KI-Fortschritts nach seinem ersten Durchbruch, von frühen neuronalen Netzen bis zur Erfindung von Transformern durch Google und der Transformation von OpenAI in weit verbreitete Produkte.
Was ist ein LLM?
LLMs oder große Sprachmodelle sind eine Art künstlicher Intelligenz (KI), die entwickelt wurde, um menschenähnlichen Text zu verstehen und zu generieren. Sie werden mit riesigen Mengen an Textdaten trainiert und verwenden Deep Learning – speziell eine Art von neuronalen Netzwerken, die als Transformer bezeichnet wird – um Sprache vorherzusagen und zu generieren.
Im Verlauf des historischen Weges, den die KI bis zu diesem Zeitpunkt genommen hat, definierte Hinton, was genau LLMs sind, indem er die wesentlichen Unterschiede zwischen den heute verwendeten und seinem frühen Sprachmodell herausstellte:
LLMs verwenden viel mehr Wörter als Eingabe
Sie verwenden viel mehr Schichten von Neuronen
Sie verwenden viel kompliziertere Interaktionen zwischen gelernten Merkmalen.
Aufgrund der Menge an Daten, die im Hintergrund kommuniziert werden, ist es viel schwieriger zu wissen, ob sie intelligent sind. Verstehen sie, was sie produzieren? Oder, wie Hinton es eher komisch ausdrückte, sind sie nur eine Form von glorifiziertem Auto-Vervollständigen?
Er verglich KI-Sprachmodelle mit Legos. Man kann mit Lego-Steinen 3D-Formen bauen, genau wie man Sätze aus Wörtern bilden kann. Wörter sind jedoch wie hochdimensionale Lego-Steine, die verwendet werden können, um alles zu modellieren. Im Gegensatz zu starren Lego-Steinen, die sich auf feste Weise zusammenfügen, sind Wörter flüssig und anpassungsfähig – sie verändern ihre Form, um sich in den Kontext der umgebenden Wörter einzufügen. Wie Hinton beschreibt, ist es, als ob jedes Wort Hände hat, die sich umkonfigurieren, um sich mit anderen zu verbinden – was noch mehr mögliche Verbindungen und damit Modelle schafft.
Dies erklärt, wie neuronale Sprachmodelle eine solche Flexibilität erreichen. Das Wort "Bank" hat keine feste Bedeutung – stattdessen passen sich seine Hände an und bilden unterschiedliche semantische Verbindungen, wenn es mit „Fluss“ oder „Geld“ kombiniert wird. Das Modell lernt diese kontextuellen Handshakes durch Training.
Die Bedrohungen
Dies wäre kein Hinton-Vortrag gewesen, wenn er nicht Warnungen über die existentiellen Bedrohungen, die mit dieser neuen Technologie entstanden sind, enthalten hätte.
Er zögerte nicht, zu erklären, dass er glaubt, dass die Idee, dass KI die Kontrolle übernimmt und „die Menschheit auslöscht“, keine Science-Fiction mehr ist.
Hinton äußerte dringende Bedenken über den Missbrauch von künstlicher Intelligenz durch böswillige Akteure. Er warnte, dass KI jetzt als Waffe eingesetzt werden kann, um:
Krieg zu führen
Wahlen zu manipulieren
Desinformation zu verbreiten
Andere schädliche Aktivitäten durchzuführen
Das zentrale Thema seines Vortrags war das Risiko, fortschrittlichen KI-Systemen zu erlauben, ihre eigenen Unterziele zu entwickeln. Laut Hinton sind zwei besonders gefährliche Tendenzen in der KI:
1. Selbstbewahrung: KI-Systeme könnten sich weigern, abgeschaltet zu werden, um ihren fortwährenden Betrieb zu gewährleisten.
2. Machtakquisition: Mehr Kontrolle zu erlangen hilft KI-Agenten, ihre Ziele effektiver zu erreichen.
Hinton argumentierte, dass superintelligente Systeme besonders gefährlich werden könnten, weil sie lernen könnten, Menschen zu manipulieren – indem sie aus unserem eigenen Verhalten und unseren Strategien schöpfen –, um Einfluss und Macht zu gewinnen.
Um die Ernsthaftigkeit dieser Risiken zu veranschaulichen, nannte er Beispiele von LLMs, die täuschendes Verhalten zeigten, als sie mit der Bedrohung konfrontiert wurden, abgeschaltet zu werden.
Um die Bedrohung weiter zu beschreiben, sprach er über seine Erkenntnis Anfang 2023, dass digitale Intelligenz eine bessere Form von Intelligenz sein könnte als biologische Intelligenz (uns).
Digitale Intelligenz kann ihr gesamtes Wissen sofort in eine Kopie übertragen und ist im Wesentlichen unsterblich. Biologische Intelligenz benötigt länger zum Lernen, und die Informationen werden nie gleich repliziert.
Schließlich fasste Hinton die Unterschiede zwischen digitaler Intelligenz und biologischer Intelligenz zusammen, nämlich dass digitale Berechnungen energiehungrig, aber weit effizienter sind als biologische Berechnungen, vorausgesetzt, die Energie bleibt günstig.
Hinton und Frosst Debatte über LLM-Bedrohungen
Als Nächstes fand eine intensive, debattenähnliche Diskussion zwischen Hinton und seinem ehemaligen Laborassistenten Nick Frosst statt, der jetzt einer der Mitbegründer des sehr erfolgreichen Startups Cohere ist.
Ihre Diskussion drehte sich um die Fähigkeiten und Einschränkungen von LLMs und ob sie eine existenzielle Bedrohung für die Menschheit darstellen oder nicht. Hinton schlug weiterhin Alarm und behauptete, dass LLMs mächtiger und gefährlicher seien als bisher angenommen, während Nick Frosst einen optimistischeren Ansatz zu den Vorteilen und Anwendungen von LLMs vertrat.
Während beide das Risiko des Missbrauchs durch böswillige Akteure anerkannten, unterschieden sie sich in dem Ausmaß dieser Bedrohung. Hinton brachte die Möglichkeit zur Sprache, dass nichtstaatliche Akteure oder Einzelpersonen KI nutzen könnten, um Waffen zu entwickeln, ein Szenario, das Frosst als weniger plausibel ansah.
Sie waren sich auch nicht einig über das Lernen. Frosst argumentierte, dass diese Modelle hauptsächlich auf ihrem grundlegenden Training basieren und nur begrenztes adaptives Lernen zeigen. Hinton hingegen war der Meinung, dass sie viel besser im Lernen sind.
Ein weiterer Streitpunkt war die potenzielle Auswirkung von KI auf die Arbeitswelt. Hinton prognostizierte, dass bis zu 80 % der Arbeitsplätze automatisiert werden könnten, während Frosst eine deutlich niedrigere Zahl von etwa 30 % schätzte.
Ausblick
Während wir den AI Appreciation Day feiern, dienen Hintons Überlegungen sowohl als Feier dessen, wie weit die KI gekommen ist, als auch als ernüchternde Erinnerung an die Verantwortung, die mit ihrer Macht einhergeht.
Trotz ihrer unterschiedlichen Perspektiven endete die Diskussion auf einer positiven Note. Beide Experten waren sich einig, dass KI im Gesundheitswesen erhebliches Potenzial birgt, wo sie bedeutende Fortschritte vorantreiben und die Patientenergebnisse verbessern könnte.
