|
Ohne neuronale Netze wären Sprach- und Bildgeneratoren wie ChatGPT nicht möglich. Der Zusammenhang zur Physik erschließt sich erst auf den zweiten Blick.
[image]https://heise.cloudimg.io/width/610/q70.png-lossy-70.webp-lossy-70.foil1/_www-heise-de_/imgs/18/4/6/9/9/9/9/5/ct2624nobelprei_131118_spa_uwei_online-0b1208c339bd8e6f.jpeg[/image]
05.11.2024, 13:30 Uhr, Von Dr.
"Und der Nobelpreis für Physik 2024 geht nicht an Physik", schrieb die Physikerin und Wissenschaftskommunikatorin Sabine Hossenfelder nur wenige Minuten nach der Bekanntgabe des Preises auf X. Damit bringt sie die Kontroverse um die in diesem Jahr geehrte Forschung auf den Punkt. Denn ausgezeichnet wurden John Hopfield von der Princeton University und Geoffrey Hinton von der University of Toronto für "bahnbrechende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen". Der Bezug zur Physik wird aus der Verlautbarung der Königlich Schwedischen Akademie der Wissenschaften nicht direkt deutlich.
In der Physik-Community machte sich Ernüchterung breit, für die sozialen Medien war es hingegen ein gefundenes Fressen. "Nun lernen Physiker, wie es sich anfühlt, wenn KI ihre Arbeit übernimmt ... ", schrieb der Kosmologe Brian Keating auf X. "Was, wenn KI sich bereits unserer Kontrolle entzieht und lediglich testet, ob sie sich selbst den Nobelpreis für Physik verleihen kann?", witzelte ein anderer Nutzer. "Physiker, die sich darüber beschweren, dass der Nobelpreis an die Informatik ging, haben es nicht verstanden", schrieb die IBM-Physikerin Olivia Lanes, "jetzt, wo die Physik maschinelles Lernen für sich beansprucht hat – stellt euch vor, wofür wir noch alles den Ruhm ernten könnten!"
Doch beide Preisträger haben in ihrer Arbeit Methoden verwendet, die aus der theoretischen Physik stammen. John Hopfield (91) ist promovierter Physiker; Geoffrey Hinton (76) war mit den Methoden der statistischen Physik vertraut. Wie viel Physik tatsächlich im maschinellen Lernen steckt und welchen Beitrag die Laureaten zur Entwicklung künstlicher Intelligenz geleistet haben, soll dieser Artikel genauer beleuchten.
Vertreter des Nobelkomitees gaben am 8. Oktober den Nobelpreis für Physik bekannt. In diesem Jahr ging die Auszeichnung an die KI-Forscher John Hopfield und Geoffrey Hinton.
Von natürlichen zu künstlichen Neuronen
Auch wenn sich der Begriff "künstliche Intelligenz" in der Umgangssprache verbreitet hat, so ist es in den meisten Fällen doch akkurater, von maschinellem Lernen zu sprechen. Maschinelles Lernen unterscheidet sich grundlegend von klassisch programmierter Software. Letztere arbeitet deterministisch: Sie verarbeitet eingegebene Informationen entsprechend eines vorgegebenen Rezeptes Schritt für Schritt und gibt schließlich ein Ergebnis aus. Beim maschinellen Lernen hingegen lernt ein Computer anhand von Beispielen. So kann er auch Probleme lösen, die zu vage oder kompliziert für ein einfaches Rezept sind. Nach ausführlichem Training ist ein maschineller Lernalgorithmus etwa in der Lage, auf einem Foto eine Katze zu erkennen, obwohl er nie Definitionen wie Schnurrhaare, Fell oder Pfoten einprogrammiert bekommen hat.
Trotz der Vermenschlichung solcher Systeme mit Begriffen wie lernen, trainieren oder denken basieren Maschinen lediglich auf mathematischen Modellen. Um menschliche Fähigkeiten zu imitieren, ließen sich Forscher von der Hirnforschung inspirieren. Das Gehirn besteht aus Nervengewebe, das wiederum aus Nervenzellen besteht, den sogenannten Neuronen. Über Synapsen sind die Neuronen miteinander verknüpft und können so Signale austauschen. Gemeinsam bilden sie ein neuronales Netz: Nicht etwa ein einzelnes Neuron verarbeitet eine Information, sondern das gesamte Netzwerk beziehungsweise Bereiche davon. Künstliche neuronale Netze sollen dieses Prinzip imitieren. Sie bestehen aus Knotenpunkten, den künstlichen Neuronen. Die Verbindungen zwischen ihnen, die "Synapsen", sind gewichtet – manche Neuronen koppeln stärker aneinander als andere.
Das Netzwerk des Gehirns besteht aus Neuronen, die über Synapsen verknüpft sind (links). Künstliche neuronale Netze bestehen aus Knoten, denen ein Wert zugeordnet ist (rechts). In beiden Fällen werden beim Lernen manche Verbindungen stärker und andere schwächer.
Die begann jedoch nicht mit den Durchbrüchen der Nobelpreisträger in den 1980er-Jahren, sondern bereits vierzig Jahre zuvor. In den 40er-Jahren etablierten sich die ersten elektronischen Computer, vor allem im militärischen und wissenschaftlichen Bereich, um aufwendige und mühselige Berechnungen durchzuführen. Zur gleichen Zeit befassten sich Forschende mit der Frage, wie das Gehirn Informationen verarbeitet. 1943 modellierten der Neurowissenschaftler Warren McCulloch und der Logiker Walter Pitts, wie Neuronen im Gehirn zusammenarbeiten: Ein Neuron berechne die gewichtete Summe eingehender Signale von anderen Neuronen, um ein ausgehendes Signal zu berechnen. Wenig später bemerkten sie, dass ein künstliches neuronales Netz zum Beispiel zur räumlichen Mustererkennung eingesetzt werden könne. Sechs Jahre später schlug der Psychologe Donald Hebb einen Mechanismus vor, wie das Gehirn lernt und Erinnerungen verarbeitet: Werden zwei Neuronen gleichzeitig und wiederholt aktiviert, verstärkt sich die Synapse, die die zwei verbindet. Diese sogenannte Hebbsche Lernregel beschreibt das grundsätzliche Lernverfahren der meisten künstlichen Netzwerke.
In den 50er- und frühen 60er-Jahren entwickelten unterschiedliche Forschungsteams die ersten rudimentären Computer auf Basis neuronaler Netze und setzten sie zur Mustererkennung ein. 1957 präsentierten Frank Rosenblatt und Charles Wightman zum Beispiel den ersten Neurocomputer, der einfache Ziffern erkennen konnte. Marvin Minsky und Seymour Papert zeigten 1969 jedoch, dass dieses System schnell an seine Grenzen geraten würde: Nichtlineare Probleme, wie etwa die XOR-Operation (exklusives Oder: entweder A oder B, aber nicht beides), könne die Rosenblatt-Maschine nicht lösen. Es machte sich die Sorge breit, dass künstliche neuronale Netze niemals wirklich nützlich sein könnten. Dies löste den ersten KI-Winter aus: eine Phase, in der die Forschungsförderung für künstliche neuronale Netze nahezu zum Stillstand kam.
Das Hopfield-Netzwerk
1982 stellte Nobelpreisträger John Hopfield den Mechanismus für ein neuronales Netz vor. Damit gab er den Startschuss für ein erneutes breites Interesse an der KI-Forschung. Dafür nutzte er Methoden der Physik. "Ich sehe die Welt immer durch die Brille der Physik. Ich bin mit Physik aufgewachsen und die Art, wie ich Probleme aufgreife, ist sehr charakteristisch für die Physik", sagte Hopfield . Die Grundidee des Hopfield-Netzwerks: Wenn Neuronen zusammenwirken, zeigen sie Eigenschaften, die man den einzelnen Neuronen nicht ansieht. Genauso verhält es sich mit Vielteilchensystemen in der Physik. Ein einzelnes Atom verrät nichts über die magnetischen Eigenschaften eines Werkstoffs. Diese ergeben sich erst aus den kollektiven Eigenschaften der unzähligen Atome im Material.
__
Zur Person: John Hopfield​
Der US-amerikanische Physiker, Molekularbiologe und Neurowissenschaftler John Joseph Hopfield wurde 1933 in Chicago geboren. Er promovierte 1958 im Bereich der theoretischen Festkörperphysik an der Cornell University. In den folgenden zwei Jahren arbeitete er in den Bell Laboratories, bevor er 1961 als Physikprofessor an die University of California in Berkeley wechselte.
Während seiner Zeit an der Princeton University von 1964 bis 1980 wandte er sich der Biochemie zu und erforschte theoretische Probleme der Molekularbiologie. Seine preisgekrönte Arbeit zum Hopfield-Netzwerk veröffentlichte der Forscher 1982 während seiner Zeit als Professor für Chemie und Biologie am California Institute of Technology (Caltech). Dort standen ihm erstmals ausreichende Mengen an Rechenleistung zur Verfügung, um seiner Forschung zu neuronalen Netzen nachzugehen.
1997 kehrte Hopfield als Professor für Molekularbiologie nach Princeton zurück, wo er bis zu seiner Emeritierung blieb. Er erhielt während seiner Karriere diverse Auszeichnungen, darunter die Dirac-Medaille (2001), den Albert Einstein World Award of Science (2005) und die Boltzmann-Medaille (2022).
__
Verantwortlich für den Magnetismus eines Körpers ist der Spin der Elektronen in der Atomhüllle. Der Spin ist eine quantenmechanische Eigenschaft, die man sich vereinfacht als Drehung der Elektronen um die eigene Achse vorstellen kann. Aufgrund des Spins verhalten sich Elektronen wie winzige Magnete, die in verschiedene Richtungen zeigen können. Doch erst aus der Ausrichtung all dieser Elementarmagnete und ihrer Wechselwirkung untereinander lässt sich schlussfolgern, ob das Material im Ganzen magnetisch ist oder nicht.
Hopfield betrachtete ein Netz aus mehreren Spins, die in entgegengesetzte Richtungen zeigen können, dargestellt durch die Werte +1 oder -1. Welche Ausrichtung ein einzelner Spin hat, hängt von den anderen Spins in seiner Umgebung ab. In einem Ferromagneten, wie etwa Eisen, wollen die Spins alle in die gleiche Richtung zeigen. In Anti-Ferromagneten, die zum Beispiel in Leseköpfen magnetischer Festplatten vorkommen, wechseln sich die Spins ab. Mischformen bezeichnen Physiker als Spingläser. Die Energie des kollektiven Spinsystems ergibt sich aus der Summe der Spinwerte (s) und ihrer Kopplungen (J),
E
=
-
1
2
∑
i
,
j
J
i
j
s
i
s
j
wobei die i’s und j’s die Spins durchnummerieren. Dies ist das sogenannte Ising-Modell magnetischer Materialien.
Hopfield nutzte dieses Wissen, um ein künstliches neuronales Netz zu beschreiben, das nach ihm benannte Hopfield-Netzwerk. Die Spins des Ising-Modells entsprechen dabei gekoppelten Neuronen, die ebenfalls die Werte +1 und -1 annehmen können. Die Energie des künstlichen, neuronalen Netzes lautet dann
E
=
-
1
2
∑
i
,
j
w
i
j
s
i
s
j
wobei wij das Gewicht der Verbindung (Synapse) zwischen den Neuronen i und j ist. Diese Formel entspricht eins zu eins der Energieformel des Ising-Modells.
Wie sich Netzwerke erinnern
In der Physik ist die Energie eine grundlegende Größe. In einem künstlichen neuronalen Netz ist sie hingegen eher abstrakt, aber essenziell, um zu verstehen, wie ein Hopfield-Netzwerk funktioniert. Während des Trainings wird das Netzwerk mit Daten gefüttert. Ein Beispiel ist ein schwarz-weißes Pixelbild des Buchstabens J. Jedes Neuron des Netzwerks entspricht dann einem Bildpunkt und es kann die Werte +1 (schwarz) oder -1 (weiß) annehmen. Die Hebbsche Lernregel gibt dann die Stärke der Verbindung vor ("Neuronen, die gemeinsam feuern, koppeln stark."). Üblicherweise speichert ein Netzwerk jedoch nicht nur ein Muster, sondern viele gleichzeitig, zum Beispiel das gesamte Alphabet. Die Gewichte werden dann so gewählt, dass die Energie so klein wie möglich ist, wenn die Neuronen ein gespeichertes Muster abbilden. Die Energieverteilung kann man sich als hügelige Landschaft vorstellen: Stellen die Neuronen eines der gespeicherten Muster dar, ist die Energie minimal und wir befinden uns in einem Tal der Landschaft. Bilden die Neuronen ein anderes Muster ab, ist die Energie höher; wir stehen auf einem Hügel.
Der Assoziativspeicher von John Hopfield speichert Informationen in einer hügeligen Landschaft. Wird das Netzwerk trainiert, formt es in der virtuellen Energielandschaft für jedes gespeicherte Muster ein Tal. Bei Eingabe eines verzerrten Musters gibt das Netzwerk das nächstliegende gespeicherte Muster zurück.
So kann das Netzwerk auch anhand unvollständiger oder verzerrter Informationen das gespeicherte Muster identifizieren, das der Eingabe am meisten ähnelt. Die neue Information kann man sich wie einen Ball vorstellen, der in die hügelige Energielandschaft gesetzt wird. Die Werte der Neuronen werden anschließend neu berechnet, dabei rollt der Ball zum tiefsten Punkt der Landschaft. Dieser entspricht dem gespeicherten Muster, das der verzerrten Information am meisten ähnelt. Das verrauschte Bild wurde wiederhergestellt.
Das Hopfield-Netzwerk wird auch als Assoziativspeicher bezeichnet. Dies geht auf das assoziative Gedächtnis zurück, das augenscheinlich unabhängige Inhalte miteinander verknüpft, wie etwa das Gesicht und den Namen einer Person. Wenn Menschen versuchen, sich an eine Sache zu erinnern, durchforsten sie ihr Gedächtnis nach Informationen, die im Geiste miteinander verknüpft sind. Nach dem gleichen Prinzip findet das Hopfield-Netzwerk das gespeicherte Muster, das der eingegebenen Information am meisten ähnelt.
Später hat Hopfield sein Netzwerk verallgemeinert, statt binären Neuronen (+1 und -1) erlaubte er beliebige Werte, um so zum Beispiel den Helligkeitswert eines Bildpixels zu repräsentieren. Außerdem nutzte er das Netzwerk auch zum Lösen komplizierter Optimierungsprobleme. Moderne Quantenannealer – Alternativen zum Quantencomputer – stützen sich zum Beispiel auf ein sehr ähnliches Prinzip.
Die Boltzmann-Maschine
Der zweite Nobelpreisträger, Geoffrey Hinton, wollte Informationen hingegen nicht nur speichern, sondern sie auch interpretieren oder völlig neue Muster erzeugen. Gemeinsam mit dem Neurowissenschaftler Terrence Sejnowski – der unter John Hopfield in Princeton promoviert hat – nutzte Hinton 1985 Methoden aus der statistischen Physik, um dieses Problem zu lösen. Dafür erweiterte er das Hopfield-Netzwerk und machte es dadurch mächtiger, jedoch auch komplizierter.
__
Zur Person: Geoffrey Hinton​
[image]https://heise.cloudimg.io/v7/_www-heise-de_/imgs/18/4/6/9/9/9/9/5/bekanntgabe_nobelpre_83720826-7151e40a139ecfae.jpg?force_format=avif%2Cwebp%2Cjpeg[/image]
Geoffrey Everest Hinton ist Informatiker und Kognitionspsychologe und wurde 1947 im Londoner Stadtteil Wimbledon geboren. Er ist ein Ururenkel des englischen Logikers George Boole, Begründer der Booleschen Algebra. Hinton besuchte die University of Cambridge und wechselte sein Fachgebiet mehrfach, von Naturwissenschaften über Kunstgeschichte zu Philosophie, bevor er 1970 einen Bachelor in Experimentalpsychologie erhielt. Anschließend promovierte er 1978 an der University of Edinburgh im Bereich der künstlichen Intelligenz.
Zunächst forschte Hinton an der University of Sussex in England, der University of California in San Diego und der Carnegie Mellon University in Pittsburgh, beide USA. 1986, während seiner Zeit als Postdoc in San Diego, veröffentlichte er sein einflussreiches Forschungspapier zur Backpropagation (Fehlerrückführung) beim Training neuronaler Netze. Ein Jahr später wurde er Professor für Computer Science an der kanadischen University of Toronto. Dort ist er seit 2014 emeritierter Professor.
Für seine KI-Forschung erhielt er diverse Auszeichnungen, darunter den Turing-Award (2018, gemeinsam mit Yoshua Bengio und Yann LeCun), die höchste Auszeichnung in der Informatik. Er trägt den Spitznamen "Godfather of AI", wortwörtlich "Pate der KI". Zwischen 2013 und 2023 arbeitete Hinton außerdem für Googles damalige Deep-Learning-Abteilung Google Brain. 2023 verließ er Google jedoch aufgrund seiner Bedenken zur KI-Forschung.
__
Kurz nach der Bekanntgabe des Nobelpreises frage ein Journalist der New York Times Hinton, ob er seine Forschung in einfachen Worten erklären könne. Dieser erwiderte: "Ich erinnere mich an die Worte des Physikers Richard Feynman, als er den Nobelpreis erhielt. Ein Journalist fragte ihn: ‚Professor Feynman, können Sie in ein paar Minuten erklären, wofür Sie den Nobelpreis erhalten haben?‘ Feynman soll geantwortet haben: ‚Hören Sie, Kumpel, wenn ich es in ein paar Minuten erklären könnte, wäre es keinen Nobelpreis wert.‘" Wir versuchen es trotzdem.
Die statistische Physik befasst sich mit großen Systemen, die aus sehr vielen, gleichartigen Teilchen zusammengesetzt sind, etwa Gase oder Flüssigkeiten. Es ist zwar unmöglich, alle Teilchen in einem Gas einzeln zu betrachten, dafür lässt sich das Gas aber als Ganzes beschreiben. Die Eigenschaften der einzelnen Teilchen, also zum Beispiel die Positionen und Geschwindigkeiten aller Atome in einem Gas, beschreibt der sogenannte Mikrozustand. Der Makrozustand hingegen beschreibt die über alle Teilchen gemittelten Eigenschaften, also zum Beispiel die Temperatur oder den Druck des Gases. In der Regel können mehrere Mikrozustände im gleichen Makrozustand resultieren: Es gibt viele verschiedene Möglichkeiten, die Atome einer Gasflasche anzuordnen und trotzdem 36° Celsius und 1 Bar zu messen.
Wenn sich der Makrozustand des Systems nicht ändert, befindet es sich im sogenannten thermischen Gleichgewicht. Trotzdem sind verschiedene Mikrozustände mit unterschiedlicher Energie möglich. Wie wahrscheinlich eine bestimmte Energie ist, lässt sich mithilfe der Boltzmann-Verteilung berechnen,
p
=
1
Z
e
-
E
/
k
B
T
.
Die Wahrscheinlichkeit (p) nimmt exponentiell (erkennbar an der Eulerschen Zahl e) mit der Energie (E) ab und hängt von der Temperatur (T) und einer Naturkonstante (kB, die sogenannte Boltzmann-Konstante) ab. Der Faktor Z garantiert, dass sich alle Wahrscheinlichkeiten zu 1 aufsummieren. Benannt wurde sie nach dem österreichischen Physiker Ludwig Boltzmann. Hinton nutzte diese Gleichung, um ein künstliches neuronales Netzwerk zu beschreiben. Während Hopfield die Werte der Neuronen in seinem Netzwerk deterministisch, also anhand einer fixen Regel, aktualisierte, arbeitet die Boltzmann-Maschine probabilistisch: Die Boltzmann-Verteilung legt fest, wie wahrscheinlich verschiedene Werte eines Neurons sind. Eine Zufallszahl bestimmt, welchen Wert das Neuron tatsächlich annimmt.
Hinton trainierte die Boltzmann-Maschine mit unverfälschten sowie verrauschten Daten, damit sie erwünschte von unerwünschten Mustern unterscheiden kann. Um dies zu erreichen, bestimmt ein Algorithmus die Werte der Neuronen und Verbindungen Schritt für Schritt. Zudem besitzt die Boltzmann-Maschine außer sichtbaren Neuronen, die die Eingabe und Ausgabe kodieren, auch versteckte Neuronen. Diese können abstrakte Eigenschaften und Korrelationen in den Daten speichern und verarbeiten, zum Beispiel Details, die dabei helfen, ein I von einem J zu unterscheiden. Damit ist das Netzwerk auch in der Lage, neue Muster zu erzeugen, die zu den Trainingsdaten passen. Die Boltzmann-Maschine war damit eines der ersten generativen Modelle.
Später stellte sich heraus, dass die Boltzmann-Maschine sehr ineffizient arbeitet, weil ein Algorithmus die Werte aller Neuronen nacheinander aktualisieren muss. Schließlich setzte sich mit der beschränkten Boltzmann-Maschine eine Variante durch, bei der sichtbare nur mit versteckten Neuronen verbunden sind – zwischen Neuronen einer Schicht besteht hingegen keine Verbindung. Obwohl diese Variante weniger Freiheiten bietet, arbeitet sie in der Praxis effizienter, da alle Neuronen einer Ebene gleichzeitig aktualisiert werden können.
Im Hopfield-Netzwerk (links) sind alle Knoten miteinander verbunden. Alle Knoten dienen zur Speicherung und Ausgabe der Daten, sind also sichtbar. Die Boltzmann-Maschine (Mitte) besteht aus sichtbaren Knoten (blau), die Informationen speichern und ausgeben, und versteckte Knoten (weiß), die zusätzliche Rechnungen ausführen. In der beschränkten Boltzmann-Maschine (rechts) besteht keine Verbindung zwischen Knoten einer Ebene.
Fehlerrückführung
Wichtiger als die Boltzmann-Maschine sei für heutige KI-Modelle aber eine andere Technik, sagte Hinton der New York Times: die Backpropagation. "Das hat weniger mit Physik zu tun." Sowohl die Boltzmann-Maschine als auch die Backpropagation hätten allerdings geholfen, neuronale Netze zum Laufen zu bekommen. Die Idee der Backpropagation, oder Fehlerrückführung, ist die folgende: Das neuronale Netz erhält ein Eingabemuster und reicht es zu den Ausgabeneuronen durch. Es vergleicht die tatsächliche Ausgabe mit der gewünschten und betrachtet die Abweichung als Fehler. Anschließend reicht es den Fehler von den Ausgabeneuronen zurück an die Eingabeneuronen. Dabei passt es die Gewichte der Neuronenverbindungen so an, dass sich der Fehler verkleinert. In der nächsten Wiederholung ähnelt das Ausgabemuster dem gewünschten Muster stärker. Dieser Prozess wird so lange wiederholt, bis das Netzwerk die gewünschte Genauigkeit liefert – es ist trainiert.
Die Methode geht auf diverse Forscher der 1960er-Jahre zurück. Hinton zeigte jedoch 1986 erstmals gemeinsam mit David Rumelhart und Ronald Williams den Nutzen dieser Methode für tiefe neuronale Netze. Heutzutage gebe es laut Hinton keine große Verbindung mehr zwischen Boltzmann-Maschinen und der Backpropagation. "In den Anfängen gelang es mir, sie zu kombinieren, indem ich Boltzmann-Maschinen zum Vortraining von Backpropagation-Netzen verwendete. Aber das macht man heute nicht mehr."
Wie so häufig kam auch in diesem Jahr die Frage auf, ob die richtigen Personen den Nobelpreis erhalten hätten. Forschung ist eine Gemeinschaftsleistung und lediglich zwei oder drei Personen für ein Forschungsgebiet auszuzeichnen, ist schwierig. "Hopfield und Hinton haben den Nobelpreis aus meiner Sicht absolut verdient", meint Ute Schmid, Leiterin des Lehrstuhls für Kognitive Systeme an der Otto-Friedrich-Universität Bamberg. "Beide haben wesentliche methodische Grundlagen für das maschinelle Lernen mit neuronalen Netzen geschaffen." Doch auch ihr fallen viele weitere Namen ein, die das Forschungsgebiet geprägt haben, darunter Hintons Kollege David Rumelhart, der maßgeblich an der Einführung der Backpropagation beteiligt gewesen war.
Preisträger beunruhigt von Entwicklung von KI
Auf die konzeptionellen Durchbrüche in den 80er-Jahren folgten die ersten erfolgreichen Anwendungen künstlicher neuronaler Netze, etwa zur automatischen Erkennung von Unterschriften bei Banken oder zur Analyse klinischer Daten. Mit der Veröffentlichung von ChatGPT 2022 setzte schließlich der Boom generativer künstlicher Intelligenz ein. Die Größe der Netzwerke ist in dieser Zeit explodiert. Hopfields Netzwerk von 1982 nutzte 30 Neuronen mit 435 Verbindungen und somit etwas weniger als 500 Parametern. Bereits ein Netzwerk mit 100 Neuronen überstieg die Rechenkapazitäten, die er damals zur Verfügung hatte. Vereinzelte große Sprachmodelle verwenden heute mehr als eine Billion Parameter.
Künstliche Intelligenz werde einen riesigen Einfluss auf die Menschheit haben, sagte Hinton im Anschluss an die Verkündung des Nobelpreises im Telefonat mit der Königlich Schwedischen Akademie der Wissenschaften. "Sie wird mit der industriellen Revolution vergleichbar sein, aber anstatt die Menschen an körperlicher Stärke zu übertreffen, wird sie die Menschen an intellektuellen Fähigkeiten übertreffen." Gleichzeitig warnt er vor dem Einsatz von KI. "Wir haben keine Erfahrung damit, wie es ist, wenn Dinge intelligenter sind als wir", sagte er weiter. Es könne zu einem effizienteren Gesundheitswesen und gesteigerter Produktivität führen. "Wir müssen uns aber auch über eine Reihe möglicher negativer Folgen Sorgen machen. Besonders über die Gefahr, dass diese Dinge außer Kontrolle geraten."
Im vergangenen Jahr kündigte Hinton seine Stelle bei Google Brain, um frei über die Risiken von KI sprechen zu können. Im Mai 2024 äußerte er etwa im Wissenschaftsmagazin Science gemeinsam mit anderen Experten unter dem Titel "Umgang mit extremen KI-Risiken inmitten des rasanten Fortschritts" seine Bedenken. Sie schreiben dort: "Ohne ausreichende Vorsicht könnten wir unwiderruflich die Kontrolle über autonome KI-Systeme verlieren, so dass ein menschliches Eingreifen wirkungslos wird. Dieser unkontrollierte KI-Fortschritt könnte (…) zur Auslöschung der Menschheit führen."
Auch Hopfield zeigte sich kritisch. Vergangenes Jahr unterzeichnete er einen offenen Brief mit der Forderung, das Training von KIs zu pausieren, die leistungsfähiger sind als GPT-4. Kurz nach der Bekanntgabe des Preises sagte er während einer Pressekonferenz der Princeton University: "Als Physiker bin ich sehr beunruhigt von etwas, das niemand kontrolliert, etwas, das ich nicht gut genug verstehe, um zu sehen, wo die Grenzen liegen, an die man diese Technologie treiben könnte." Er plädierte daher dafür, dass das Forschungsfeld ein besseres Verständnis der KI anstreben müsse.
Der Physik zum Nutzen
Während KI in der öffentlichen Wahrnehmung erst seit einigen Jahren Aufmerksamkeit erregt, verwenden Forscher das maschinelle Lernen seit bereits 15 bis 20 Jahren. Insbesondere fußen künstliche neuronale Netze nicht nur auf Methoden der Physik, sondern maschinelles Lernen leistete auch einen erheblichen Beitrag zur modernen physikalischen Forschung. "Viele Erkenntnisse in der Physik sind nur durch maschinelles Lernen zu gewinnen", sagt Katharina Morik, Gründungsdirektorin des Lamarr-Instituts für Maschinelles Lernen und KI in Nordrhein-Westfalen. Dazu gehört etwa das IceCube-Projekt, an dem Morik beteiligt war. Mithilfe eines Detektors am Südpol und der KI-gestützten Auswertung der darüber gesammelten Daten konnte das Team die Milchstraße anhand von Neutrinos abbildeten.
Das IceCube-Observatorium am Südpol detektiert Neutrinos, die aus der Milchstraße kommen und die Erde erreichen.
In den 90er-Jahren wurden künstliche neuronale Netze zu einem Standard-Analysewerkzeug in der Teilchenphysik. Teilchenbeschleuniger wie etwa der Large Hadron Collider (LHC) am CERN produzieren Unmengen an Daten – im Schnitt verarbeitet das CERN-Datenzentrum ein Petabyte pro Tag. Grund dafür ist, dass die dort gesuchten Elementarteilchen oft nur für Bruchteile einer Sekunde kurz nach einer energiereichen Kollision existieren. Um diese trotzdem aufzuspüren, müssen Forscher gigantische Datenmengen aufzeichnen und nach den richtigen Spuren durchsuchen. So gelang es dem Forschungsteam 2012, das Higgs-Boson nachzuweisen, für das Peter Higgs und François Englert im folgenden Jahr mit dem Nobelpreis für Physik ausgezeichnet wurden.
Mit dem CMS-Detektor am LHC messen Forscher Spuren des Zerfalls von Teilchen, wie diese von 2011. Sie haben zur Entdeckung des Higgs-Bosons geführt.
Dass der Nobelpreis in diesem Jahr an ein informatisches Thema ging, hält Schmid für gerechtfertigt. Einen Nobelpreis für Informatik gebe es nun einmal nicht. "Ein Nobelpreis symbolisiert deutlicher, dass eine Forschungsarbeit nicht nur von hoher fachlicher Relevanz ist, sondern auch darüber hinaus Bedeutung für Wissenschaft und Gesellschaft hat."
(spa)
|
Physik-Nobelpreis:Wieviel Physik in neuronalen Net [re: Mod vege]
(старо куче)
