KI, das umarmende Gesicht und Canva werden alle von einer neuen gemeinnützigen KI-Forschungsorganisation unterstützt

Die Entwicklung anspruchsvoller KI-Systeme wie ChatGPT erfordert enorme technische Ressourcen, zum Teil, weil die Entwicklung und der Betrieb teuer sind. Während viele Open-Source-Bemühungen versucht haben, proprietäre Closed-Source-Systeme, die von kommerziellen Labors wie DeepMind und OpenAI von Alphabet erstellt wurden, zurückzuentwickeln, sind sie oft auf Hindernisse gestoßen – hauptsächlich aufgrund eines Mangels an Kapital und Fachwissen.

In der Hoffnung, dieses Schicksal zu vermeiden, gründet eine Gemeinschaftsforschungsgruppe, EleutherAI, eine gemeinnützige Organisation. Die Organisation gab heute bekannt, dass sie eine gemeinnützige Denkfabrik, das Eleutheran Institute, gründen wird, die durch Spenden und Zuschüsse von Geldgebern finanziert wird, darunter die KI-Startups Hugging Face und Stability AI, der ehemalige GitHub-CEO Nat Friedman, Lambda Labs und Canva.

„Die Formalisierung als Organisation ermöglicht es uns, ein Vollzeitteam aufzubauen und an Projekten teilzunehmen, die länger und umfassender sind, als es als Freiwilligengruppe möglich wäre“, Stella Biderman, eine KI-Forscherin bei Booz Allen Hamilton, die die Co-Direktion übernehmen wird Eleutheran Institute, sagte TechCrunch in einem Mail-Interview. „Speziell in Bezug auf gemeinnützige Organisationen denke ich, dass es ein Kinderspiel ist, wenn man bedenkt, dass wir uns auf Forschung und den Open-Source-Bereich konzentrieren.“

EleutherAI begann vor einigen Jahren als eine beliebte Gruppe von Entwicklern, die an Open-Source-KI-Forschung arbeiteten. Seine Gründungsmitglieder – Connor Leahy, Liu Gao und Sid Black – schrieben den Code und sammelten die erforderlichen Daten, um ein maschinelles Lernmodell in der Nähe von GPT-3 zur Generierung von OpenAI-Skripten zu erstellen, das zu dieser Zeit viel Druck erhielt.

Das Unternehmen hat The Pile kuratiert und als Open Source bereitgestellt, eine Reihe von Datensätzen, die zum Trainieren von GPT-3-ähnlichen Modellen zum Vervollständigen von Text, Schreiben von Code und mehr verwendet werden sollen. Und es veröffentlichte mehrere Modelle unter der Apache 2.0-Lizenz, darunter GPT-J und GPT-NeoX, Sprachparadigmen, die für eine Weile eine völlig neue Welle von Startups befeuerten.

Um seine Modelle zu trainieren, stützte sich EleutherAI hauptsächlich auf TPU Research Cloud, eine Google Cloud-Software, die Projekte mit der Erwartung unterstützt, dass die Ergebnisse öffentlich geteilt werden. CoreWeave, ein in den USA ansässiges Kryptowährungs-Mining-Unternehmen, das Cloud-Dienste für KI-Workloads anbietet, stellte EleutherAI auch Rechenressourcen im Austausch für Modelle zur Verfügung, die seine Kunden verwenden und einreichen konnten.

Eleutherian wuchs schnell. Heute arbeiten mehr als 20 regelmäßige Mitwirkende in Vollzeit in der Community, wobei ihr Hauptaugenmerk auf der Forschung liegt. In den letzten 18 Monaten haben Eleuthera-Mitglieder 28 wissenschaftliche Arbeiten mitverfasst, Dutzende von Modellen trainiert und zehn Codebasen veröffentlicht.

Aber die Volatilität von Cloud-Service-Providern hat EleutherAI manchmal gezwungen, seine Pläne zu vereiteln. Ursprünglich beabsichtigte die Gruppe, ein Modell zu veröffentlichen, das in Bezug auf die Anzahl der Parameter ungefähr die Größe von GPT-3 hat, aber die Roadmap wurde aus technischen und finanziellen Gründen zurückgestellt. (In der KI sind Parameter die Teile des Modells, die aus historischen Trainingsdaten gelernt wurden und im Wesentlichen die Fähigkeiten des Modells bei einem Problem bestimmen, z. B. beim Generieren von Text.)

Ende 2022 ist EleutherAI mit Stability AI, dem inzwischen gut finanzierten Startup hinter der bilderzeugenden KI-Plattform Stable Diffusion, bestens vertraut. Zusammen mit anderen Mitarbeitern half er bei der Erstellung der Erstveröffentlichung von Stable Diffusion. Seitdem hat Stability AI einen Teil der Datenverarbeitung aus seinem AWS-Cluster für die kontinuierliche Sprachmodellforschung von EleutherAI gespendet.

Nachdem sich ein weiterer großer Sponsor – Hugging Face – an EleutherAI gewandt hatte, begannen Gespräche über gemeinnützige Organisationen, sagt Biderman. (Mehrere Mitarbeiter von EleutherAI waren an den BigScience-Bemühungen des Unternehmens beteiligt, die darauf abzielten, ein ähnliches GPT-3-Modell im Laufe eines Jahres zu trainieren und als Open Source zu veröffentlichen.)

„EleutherAI hat sich in der Vergangenheit stark auf große Sprachmodelle konzentriert, die ChatGPT architektonisch ähnlich sind, und wird dies wahrscheinlich auch weiterhin tun“, sagte Biderman. “Neben dem Training großer Sprachmodelle freuen wir uns, mehr Ressourcen für Ethik, Interpretierbarkeit und Alignment-Arbeit bereitzustellen.”

Man könnte sich fragen, ob die Beteiligung kommerziell motivierter Projekte wie Stability AI und Hugging Face – die beide durch erhebliches Investitionskapital unterstützt werden – die Forschung von EleutherAI beeinflussen könnte. Es ist eine natürliche Annahme – und sie wird durch Beweise gestützt. Mindestens eine Studie zeigt einen direkten Zusammenhang zwischen Spenden und der Wahrscheinlichkeit, dass gemeinnützige Organisationen über eine vorgeschlagene Regierungsregelung berichten.

Biedermann betont, dass die EleutherAI-Stiftung unabhängig bleiben werde und sieht derzeit noch kein Problem mit der Spendergruppe.

„Wir entwickeln keine Modelle im Auftrag kommerzieller Unternehmen“, sagte Biderman. “Wenn überhaupt, denke ich, dass der Zugang zu vielfältiger Pflege unsere Unabhängigkeit verbessert. Wenn wir vollständig von einem Technologieunternehmen finanziert würden, scheint das ein potenzielles Problem zu sein, das viel größer ist als unser Ende.”

Eine weitere Herausforderung, die die EleutherAI Foundation meistern muss, besteht darin, dafür zu sorgen, dass ihre Kassen nicht versiegen. OpenAI ist eine warnende Geschichte. Nach der Gründung als gemeinnützige Organisation im Jahr 2015 ist das Unternehmen anschließend zu einer „Maximum Profit“-Struktur übergegangen, um seine laufende Forschung zu finanzieren.

Im Allgemeinen waren gemeinnützige Initiativen zur Finanzierung der KI-Forschung eine gemischte Sache.

Zu den Erfolgsgeschichten gehört das Allen Institute for Artificial Intelligence (AI2), das vom verstorbenen Microsoft-Mitbegründer Paul Allen gegründet wurde und darauf abzielt, wissenschaftliche Durchbrüche in den Bereichen künstliche Intelligenz und maschinelles Lernen zu erzielen. Es gibt auch das Alan Turing Institute, das staatlich finanzierte nationale Institut für Datenwissenschaft und maschinelles Lernen mit Sitz in Großbritannien. Zu den kleineren, vielversprechenden Bemühungen gehören Cohere For AI des Startups Cohere (wenn auch mit Unternehmensbindungen) und Distributed AI Research von Timnit Gebru, eine weltweit verteilte Forschungsorganisation.

Aber für jede AI2 gibt es den AI Research Fund des ehemaligen Google-Chefs Eric Schmidt. Mit mehr als 125 Millionen Dollar löste es neue Kontroversen aus, nachdem Politico berichtete, Schmidt habe ungewöhnlich großen Einfluss auf das Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses.

Die Zeit wird zeigen, in welche Richtung EleutherAI schließlich geht. Die Mission wird sich wahrscheinlich im Laufe der Zeit weiterentwickeln und verändern – auf positive Weise, können wir nur hoffen.