„Aufmerksamkeit ist alles, was Sie brauchen“ Schöpfer blicken bei Nvidia GTC über Transformers für KI hinaus: „Die Welt braucht etwas Besseres“

Sieben der acht Autoren des Artikels „Attention Is All You Need“, der Transformers vorstellte, trafen sich heute zum ersten Mal als Gruppe, um mit Nvidia-CEO Jensen Huang in einem überfüllten Saal auf der GTC-Konferenz zu plaudern.

Dazu gehörten Noam Shazier, Mitbegründer und CEO von Character.ai; Aidan Gomez, Mitbegründer und CEO von Cohere; Ashish Vaswani, Mitbegründer und CEO, Essential AI; Leon Jones, Mitbegründer und CTO von Sakana AI; Ilya Polosukhin, Mitbegründer des NEAR-Protokolls; Jacob Oschorit, Mitbegründer und CEO von Inceptive; und Lukas Kaiser, technischer Mitarbeiter bei OpenAI. Nikki Parmar, Mitbegründerin von Essential AI, konnte nicht teilnehmen.

Im Jahr 2017 landete das achtköpfige Google Brain-Team mit Transformers auf Gold – einem NLP-Durchbruch im Bereich neuronaler Netzwerke, der den Kontext und die Bedeutung von Wörtern genauer erfasste als seine Vorgänger: das rekurrente neuronale Netzwerk und das Netzwerk für das Langzeit-Kurzzeitgedächtnis. Die Transformer-Architektur wurde zur Grundlage von LLM-Software wie GPT-4 und ChatGPT, aber auch nichtsprachlichen Anwendungen wie Codex und OpenAI Alpha Fold von Deep Mind.

„Die Welt braucht etwas Besseres als Transformers.“

Aber jetzt blicken die Macher von Transformers über das hinaus, was sie gebaut haben – auf die Zukunft der KI-Modelle. An diesem Punkt „braucht die Welt etwas Besseres als Transformers“, sagte Gomez von Cohere und fügte hinzu: „Ich denke, wir alle hoffen hier, dass etwas funktioniert, das uns auf ein neues Leistungsniveau bringt.“ Anschließend fragte er den Rest der Gruppe: „Was sehen Sie als nächstes? Das ist meiner Meinung nach der spannende Schritt.“ [what is there now] Sehr ähnlich zu etwas, das vor sechs oder sieben Jahren existierte.

In einer Diskussion mit VentureBeat nach der Anhörung ging Gomez auf die Kommentare des Gremiums ein und sagte: „Es wäre wirklich traurig, wenn [Transformers] „Das ist das Beste, was wir tun können“, sagte er und fügte hinzu, dass er seit dem Tag, nachdem das Team das Papier „Attention is All You Need“ eingereicht hatte, darüber nachgedacht habe. „Ich möchte, dass es durch etwas anderes ersetzt wird, das zehnmal besser ist, denn das.“ bedeutet, dass jeder Modelle bekommt, die zehnmal besser sind.“

Er stellte fest, dass es viele Mängel im Speicheraspekt von Transformers und vielen architektonischen Komponenten des Transformers gab, die von Anfang an unverändert geblieben waren und „neu erforscht und überdacht“ werden sollten. Beispielsweise werde ein sehr langer Kontext teuer und nicht skalierbar, erklärte er. Darüber hinaus „könnten die Parameter unnötig groß sein, wir könnten sie stärker komprimieren, wir könnten Gewichte häufiger teilen – das könnte die Dinge erheblich reduzieren.“

„Man muss deutlich besser sein.“

Er räumte jedoch ein, dass die übrigen Autoren des Papiers zwar wahrscheinlich zustimmen würden, Gomes jedoch sagte, es gebe „unterschiedliche Grade, wann das passieren würde“. In diesem Fall können die Überzeugungen unterschiedlich sein. Aber jeder will das Beste – denn im Herzen sind wir alle Wissenschaftler – und das bedeutet nur, dass wir Fortschritte sehen wollen.

Während der Sitzung wies Jones von Sacana jedoch darauf hin, dass die KI-Branche nicht nur besser sein muss, damit sie zum nächsten Ding nach Transformers übergehen kann – was auch immer das sein mag. – Man muss sichtbar sein, eindeutig besser… Also [right now] Es bleibt im Archetyp hängen, auch wenn es technisch gesehen nicht das Mächtigste ist, was derzeit verfügbar ist.

Gomez stimmte zu und erzählte VentureBeat, dass der Transformer nicht nur deshalb so beliebt geworden sei, weil er ein gutes Modell und eine gute Architektur sei, sondern auch, weil die Leute davon begeistert seien – und er sagte, man brauche beides. „Wenn Sie eines dieser Dinge verpassen, können Sie die Community nicht bewegen“, erklärte er. „Um den Übergang von einer Architektur zu einer anderen in Gang zu bringen, muss man ihnen also wirklich etwas präsentieren, das die Leute interessiert.“