Google und OpenAI sind von Obstständen umgebene Walmarts

OpenAI mag jetzt ein Synonym für maschinelles Lernen sein, und Google tut sein Bestes, um wieder aufzustehen, aber beide könnten bald einer neuen Bedrohung ausgesetzt sein: der Verdopplung von Open-Source-Projekten, die die Schneide vorantreiben und die Reichen zurücklassen. Unpraktische Unternehmen in ihrem Staub. Diese zergähnliche Bedrohung ist vielleicht keine existenzielle Bedrohung, aber sie wird dominante Spieler sicherlich in der Defensive halten.

Die Idee ist aus langfristiger Sicht nicht neu – in einer schnelllebigen KI-Community ist diese Art von Störungen wöchentlich zu erwarten – aber die Situation wird durch ein weit verbreitetes Dokument relativiert, das angeblich von Google stammt . „Wir haben keinen Graben und OpenAI auch nicht“, heißt es in der Notiz.

Ich werde den Leser nicht mit einer langen Zusammenfassung dieses durch und durch lesbaren und interessanten Artikels belasten, aber das Wesentliche ist, dass, während GPT-4 und andere proprietäre Modelle bereits den Löwenanteil an Aufmerksamkeit und Einnahmen erhalten haben, sie einen Vorsprung haben Sie tun es mit Finanzierung und Infrastruktur, die jeden Tag ein bisschen schlanker aussehen. .

Während das Tempo der OpenAI-Veröffentlichungen nach den Maßstäben normaler großer Software-Veröffentlichungen intensiv erscheinen mag, waren GPT-3, ChatGPT und GPT-4 einander sicherlich dicht auf den Fersen, wenn man sie mit den iOS- oder Photoshop-Veröffentlichungen vergleicht. Aber es passierte immer noch in der Größenordnung von Monaten und Jahren.

Aus dem Memo geht hervor, dass im März ein durchgesickertes Metabasis-Sprachmodell namens LLaMA ziemlich grob war. innen WochenMenschen, die an Laptops und Penny-a-Minute-Servern bastelten, fügten Kernfunktionen hinzu, wie z. B. Anweisungsabstimmung, mehrere Modalitäten und verstärkendes Lernen aus menschlichem Feedback. Bei OpenAI und Google ging es vielleicht auch um den Code, aber sie konnten – konnten nicht – das Niveau der Zusammenarbeit und des Experimentierens replizieren, das in Subreddits und Discords stattfindet.

Könnte es sein, dass ein gigantisches Rechenproblem, das für Wettbewerber ein unüberwindbares Hindernis zu sein schien – der Burggraben – wirklich ein Relikt aus einer anderen Ära der KI-Entwicklung ist?

Sam Altman hat bereits angemerkt, dass wir mit abnehmenden Renditen rechnen sollten, wenn Parameter auf das Problem geworfen werden. Größer ist nicht immer besser, sicher – aber nur wenige hätten gedacht, dass kleiner stattdessen ist.

GPT-4 ist Walmart, und niemand mag Walmart wirklich

Das Geschäftsmodell, das OpenAI und andere derzeit verfolgen, ist ein direkter Nachkomme des SaaS-Modells. Sie haben eine hochwertige Software oder einen Dienst und bieten sorgfältig geschützten Zugriff über eine API oder etwas anderes an. Es ist ein geradliniger, konsistenter Ansatz, der absolut sinnvoll ist, wenn Sie Hunderte von Millionen in die Entwicklung eines einzelnen, miteinander verbundenen und dennoch vielseitigen Produkts wie eines großen Sprachparadigmas investiert haben.

Wenn sich GPT-4 gut verallgemeinern lässt, um Fragen zu Präzedenzfällen im Vertragsrecht zu beantworten, ist das großartig – egal, dass ein großer Teil seines “Gedankens” darauf ausgerichtet ist, den Stil jedes Autors nachahmen zu können, der ein Werk auf Englisch veröffentlicht hat. GPT-4 ist wie Walmart. Eigentlich niemand Will Dorthin zu gehen, so ist sich das Unternehmen absolut sicher, dass es keine andere Wahl gibt.

Aber die Kunden beginnen sich zu fragen: Warum gehe ich 50 Schrottgänge entlang, um ein paar Äpfel zu kaufen? Warum sollte ich die Dienste des größten Allzweck-KI-Modells beauftragen, das jemals gebaut wurde, wenn ich nur ein bisschen schlau sein möchte, um die Sprache dieses Vertrags mit ein paar hundert anderen abzustimmen? Auf die Gefahr hin, Metaphern zu quälen (ganz zu schweigen vom Leser), wenn GPT-4 der Walmart ist, zu dem Sie Äpfel holen, was passiert, wenn sich auf dem Parkplatz ein Obststand öffnet?

In der KI-Welt hat es nicht lange gedauert, bis ein großes Sprachmodell, natürlich in sehr verkürzter Form, auf dem (richtigen) Raspberry Pi läuft. Für ein Unternehmen wie OpenAI, Microsoft Knight, Google oder jeden anderen in der AI-as-a-Service-Welt bettelt es wirklich um die gesamte Prämisse ihres Geschäfts: dass diese Systeme so schwer zu erstellen und zu betreiben sind, dass sie es tun müssen es für dich. Tatsächlich scheinen diese Unternehmen eine Version der künstlichen Intelligenz gewählt und gebaut zu haben, die zu ihrem aktuellen Geschäftsmodell passt, und nicht umgekehrt!

Früher mussten Sie die mit der Textverarbeitung verbundenen Berechnungen auf einen Mainframe-Computer auslagern – Ihr Terminal war nur ein Bildschirm. Das war natürlich eine andere Zeit, und wir haben längst die gesamte App auf einem PC unterbringen können. Dieser Prozess ist viele Male passiert, seit unsere Maschinen ihre Rechenleistung immer wieder und exponentiell gesteigert haben. Wenn heutzutage etwas an einem Supercomputer gemacht werden muss, versteht jeder, dass es nur eine Frage der Zeit und der Verbesserung ist.

Für Google und OpenAI ist die Zeit viel schneller gekommen als erwartet. Und sie waren nicht diejenigen, die sich verbessern mussten – und sie werden es vielleicht nie in diesem Tempo tun.

Nun, das bedeutet nicht, dass sie kein Glück hatten. Google hat es nicht geschafft, der Beste zu sein – jedenfalls nicht für lange. Von Walmart zu sein, hat seine Vorteile. Unternehmen wollen keine maßgeschneiderte Lösung finden, die die gewünschte Arbeit 30 % schneller erledigt, wenn sie vom bestehenden Anbieter einen angemessenen Preis erzielen können, ohne das Boot zu sehr ins Wanken zu bringen. Unterschätzen Sie niemals den Wert der Trägheit im Einsatz!

Sicher, die Leute wiederholen LLaMA so schnell, dass ihnen die Schönheiten ausgehen, um es danach zu benennen. Übrigens möchte ich den Entwicklern für die Entschuldigung danken, durch Hunderte von Fotos von niedlichen und verblassten Vicuñas zu scrollen, anstatt zu arbeiten. Aber nur wenige IT-Abteilungen von Unternehmen würden an einer Open-Source-Derivatimplementierung eines halblegalen Meta-Modells zusammenarbeiten, das über die einfache, aber effektive OpenAI-API durchgesickert ist. Sie haben ein Geschäft zu führen!

Aber gleichzeitig habe ich vor Jahren aufgehört, Photoshop zum Bearbeiten und Erstellen von Bildern zu verwenden, weil Open-Source-Optionen wie Gimp und Paint.net so gut geworden sind. An dieser Stelle geht die Argumentation in die andere Richtung. Wie viel zahlen Sie für Photoshop? Unmöglich, wir haben ein Geschäft zu führen!

Was die anonymen Googler offensichtlich befürchtet, ist, dass die Entfernung von der ersten zur zweiten Haltestelle viel kürzer sein wird, als alle dachten, und es scheint nichts zu geben, was irgendjemand dagegen tun kann.

Nur dass auf dem Zettel steht: Umarmt es. Offenheit, Verbreitung, Zusammenarbeit, Teilen und Kompromisse. Als sie schließen:

Google muss sich als führendes Unternehmen in der Open-Source-Community etablieren und die Führung übernehmen, indem es mit der breiteren Diskussion zusammenarbeitet, anstatt sie zu ignorieren. Dies bedeutet wahrscheinlich, einige unbequeme Schritte zu unternehmen, wie z. B. die Veröffentlichung von Modellgewichtungen für kleine ULM-Variablen. Das bedeutet zwangsläufig, dass wir die Kontrolle über unsere Paradigmen aufgeben. Aber dieser Kompromiss ist unvermeidlich. Wir können nicht darauf hoffen, Innovationen voranzutreiben und zu kontrollieren.