OpenAI veröffentlicht eine API für ChatGPT sowie eine benutzerdefinierte Kapazität für Unternehmenskunden

Um ChatGPT, die von OpenAI aus San Francisco entwickelte KI zur Generierung von Freitexten, zu nennen, ist Erfolg eine massive Untertreibung.

Im Dezember hatte ChatGPT schätzungsweise über 100 Millionen aktive Benutzer pro Monat. Es hat die Aufmerksamkeit der Mainstream-Medien auf sich gezogen und unzählige Memes in den sozialen Medien generiert. Es wurde verwendet, um Hunderte von E-Books im Amazon Kindle Store zu schreiben. Ihr wird die Co-Autorin von mindestens einer wissenschaftlichen Arbeit zugeschrieben.

Aber OpenAI, ein Unternehmen – wenn auch eines mit begrenztem Gewinn – musste ChatGPT irgendwie monetarisieren, damit Investoren nicht vor den Kopf gestoßen würden. Mit der Einführung eines Premium-Dienstes, ChatGPT Plus, im Februar wurde ein Schritt in diese Richtung getan. Und es ging heute noch einen Schritt weiter, indem es eine API bereitstellte, die es jedem Unternehmen ermöglicht, die ChatGPT-Technologie in seine Apps, Websites, Produkte und Dienstleistungen zu integrieren.

API war schon immer der Plan. Dies sagt Greg Brockman, Präsident und CEO von OpenAI (und auch einer der Gründer). Er hat gestern Nachmittag per Videoanruf mit mir gechattet, bevor er die ChatGPT-API gestartet hat.

„Es dauert einige Zeit, bis diese APIs eine gewisse Qualität erreichen“, sagt Brockmann. „Ich denke, es ist so, als ob man einfach in der Lage wäre, die Nachfrage und den Umfang zu decken.“

Laut Brockman basiert die ChatGPT-API auf dem gleichen KI-Modell wie OpenAIs ChatGPT, genannt „gpt-3.5-turbo“. GPT-3.5 ist das leistungsstärkste Textgenerierungsmodell, das OpenAI heute über seine API-Suite anbietet; Der Spitzname „Turbo“ bezieht sich auf eine verbesserte und reaktionsschnellere Version von GPT-3.5, die OpenAI stillschweigend für ChatGPT getestet hat.

Mit 0,0002 US-Dollar pro 1.000 Zeichen oder etwa 750 Wörtern behauptet Brockman, dass die API eine Reihe von Erfahrungen ermöglichen kann, einschließlich „Nicht-Chat“-Apps. Snap, Quizlet, Instacart und Shopify gehören zu den Early Adopters.

Der anfängliche Anstoß hinter der Entwicklung von gpt-3.5-turbo könnte darin bestanden haben, die enormen Rechenkosten von ChatGPT zu reduzieren. Sam Altman, CEO von OpenAI, beschrieb die Ausgaben von ChatGPT einmal als „schrecklich für die Augen“ und schätzte sie auf einige Cent pro Chat an Rechenkosten. (Bei über einer Million Benutzern sollte sich das schnell summieren.)

Aber Brockmann sagt, dass gpt-3.5-turbo auf andere Weise verbessert wird.

“Wenn Sie einen KI-gestützten Lehrer bauen, möchten Sie nie, dass der Lehrer dem Schüler eine Antwort gibt. Sie möchten es immer erklären und ihm beim Lernen helfen – das ist ein Beispiel für die Art von System, zu der Sie in der Lage sein müssen bauen.” [with the API]sagte Brockmann. “Wir glauben, dass dies die API benutzerfreundlicher und zugänglicher machen würde.”

Die ChatGPT-API unterstützt My AI, den kürzlich angekündigten Chat-Bot von Snap für Snapchat+-Abonnenten, und die neue Q-Chat-Standardfunktion von Quizlet. Shopify nutzte die ChatGPT-API, um einen persönlichen Assistenten für Einkaufsempfehlungen zu erstellen, während Instacart sie nutzte, um „Ask Instacart“ zu erstellen, eine kommende Grafik, die es Instacart-Kunden ermöglichen wird, Fragen zu Lebensmitteln zu stellen und „marktfähige“ Antworten zu erhalten, die auf Produktdaten von den Einzelhandelspartnern des Unternehmens basieren .

„Lebensmitteleinkauf kann eine ziemliche mentale Belastung sein, bei der viele Faktoren eine Rolle spielen, wie Budget, Gesundheit und Ernährung, persönlicher Geschmack, Saisonalität, Kochkünste, Vorbereitungszeit und Rezeptinspiration“, sagte mir JJ Zhuang, Chefarchitekt von Instacart, per E-Mail . . „Was wäre, wenn die KI diese mentale Belastung übernehmen könnte und wir den Haushaltsvorständen helfen könnten, die im Allgemeinen für den Lebensmitteleinkauf, die Essensplanung und das Anrichten der Speisen auf dem Tisch verantwortlich sind – und den Lebensmitteleinkauf wirklich zum Vergnügen machen könnten? ChatGPT wird uns OpenAI ermöglichen, ist genau dazu in der Lage, und wir freuen uns darauf, mit den Möglichkeiten der Instacart-App zu experimentieren.”

Diejenigen, die die ChatGPT-Saga genau verfolgen, fragen sich jedoch möglicherweise, ob sie zur Veröffentlichung bereit ist – und das zu Recht.

Schon früh konnten Benutzer ChatGPT auffordern, Fragen auf rassistische und sexistische Weise zu beantworten, was die voreingenommenen Daten widerspiegelt, mit denen ChatGPT ursprünglich trainiert wurde. (Die Trainingsdaten von ChatGPT umfassen eine breite Palette von Internetinhalten wie E-Books, Reddit-Posts und Wikipedia-Artikel.) ChatGPT erfindet auch Fakten, ohne dies preiszugeben, ein Phänomen der künstlichen Intelligenz, das als Halluzinationen bekannt ist.

ChatGPT – und ähnliche Systeme – sind auch anfällig für Geschwindigkeitsangriffe oder böswillige gegnerische Eingabeaufforderungen, die sie dazu bringen, Aufgaben auszuführen, die nicht zu ihren ursprünglichen Zielen gehörten. Ganze Communities haben sich auf Reddit gebildet, um Wege zu finden, ChatGPT zu “jailbreaken” und alle Sicherheitsvorkehrungen zu umgehen, die OpenAI eingerichtet hat. In einem weniger anstößigen Beispiel konnte ein Mitarbeiter von Startup Scale AI ChatGPT erhalten Offenlegung Informationen zu seinem hauseigenen Kunstwerk.

Marken wollen natürlich nicht ins Kreuzfeuer geraten. Brockman besteht darauf, dass sie es nicht sein werden. Warum das? Ein Grund seien die ständigen Verbesserungen am Backend – teilweise zu Lasten der kenianischen Vertragsarbeiter. Aber Brockman betonte einen neuen (und sicherlich weniger kontroversen) Ansatz, den OpenAI Chat Markup Language oder ChatML nennt. ChatML übergibt Text als eine Reihe von Nachrichten mit Metadaten an die ChatGPT-API. Dies unterscheidet sich vom Standard-ChatGPT, das Rohtext verwendet, der als Zeichenfolge von Tokens dargestellt wird. („Cool“ würde zum Beispiel in Tokens wie „fan“, „tas“ und „tic“ zerlegt.)

Zum Beispiel bei der Aufforderung “Was sind einige interessante Partyideen für meinen 30. Geburtstag?” Der Entwickler kann diese Eingabeaufforderung mit einer zusätzlichen Eingabeaufforderung wie „Sie sind ein unterhaltsamer Chatbot, der entwickelt wurde, um Benutzern bei der Beantwortung der von ihnen gestellten Fragen zu helfen. Sie müssen ehrlich und auf unterhaltsame Weise antworten!“ oder „Sie sind ein Bot“ davor anhängen ChatGPT API verarbeitet es. Laut Brockmann helfen diese Anweisungen dabei, Antworten auf ChatGPT-Formulare besser anzupassen – und zu filtern.

“Wir wechseln zu einer API auf höherer Ebene. Wenn Sie eine strukturiertere Art haben, Eingaben für das System darzustellen, bei denen Sie sagen: ‘Das ist vom Entwickler’ oder ‘Das ist vom Benutzer’ … muss ich das tun Erwarten Sie als Entwickler, dass es robuster sein wird [using ChatML] sagte Brockmann.

Eine weitere Änderung, die (hoffentlich) unbeabsichtigtes ChatGPT-Verhalten verhindert, sind häufigere Formularaktualisierungen. Mit der Veröffentlichung von gpt-3.5-turbo werden Entwickler automatisch auf das neueste stabile OpenAI-Modell aktualisieren, sagt Brockmann, beginnend mit gpt-3.5-turbo-0301 (heute veröffentlicht). Entwickler haben jedoch die Möglichkeit, bei einem älteren Modell zu bleiben, wenn sie dies wünschen, was die Funktion etwas zunichte machen kann.

Unabhängig davon, ob sie sich für ein Update auf das neueste Modell entscheiden oder nicht, stellt Brockmann fest, dass einige Kunden – hauptsächlich große Unternehmen mit entsprechend großen Budgets – eine tiefere Kontrolle über die Systemleistung haben werden, indem sie dedizierte Kapazitätspläne anbieten. Die dedizierten Kapazitätspläne von OpenAI, die Anfang dieses Monats zum ersten Mal veröffentlicht wurden, ermöglichen es Kunden, für die Anpassung der Computerinfrastruktur für den Betrieb eines OpenAI-Modells – beispielsweise gpt-3.5-turbo – zu bezahlen. (Übrigens ist es im Backend azurblau).

Zusätzlich zur „vollen Kontrolle“ über die Instanzlast – OpenAI-API-Aufrufe erfolgen normalerweise auf gemeinsam genutzten Rechenressourcen – gibt die zugewiesene Kapazität den Clients die Möglichkeit, Funktionen wie längere Kontextbeschränkungen zu aktivieren. Kontextgrenzen geben an, welchen Text das Modell untersucht, bevor zusätzlicher Text generiert wird; Längere Kontextgrenzen ermöglichen es dem Formular, sich wesentlich mehr Text zu “merken”. Während höhere Kontextgrenzen möglicherweise nicht alle Probleme der Verzerrung und Toxizität lösen, können sie dazu führen, dass Modelle wie gpt-3.5-turbo in geringerem Maße halluzinieren.

Laut Brockman können Kunden mit benutzerdefinierter Kapazität gpt-3.5-turbo-Modelle mit einem Kontextfenster von bis zu 16.000 erwarten, was bedeutet, dass sie viermal so viele Token erhalten können wie ein Standard-ChatGPT-Modell. Das könnte es beispielsweise jemandem ermöglichen, seitenweise Steuercodes einzufügen und vernünftige Antworten aus dem Formular zu erhalten – eine Leistung, die heute nicht möglich ist.

Brockmann hat eine allgemeine Veröffentlichung in der Zukunft angedeutet, aber nicht in absehbarer Zeit.

„Es tauchen immer mehr Kontextfenster auf, und ein Teil des Grundes, warum wir derzeit nur engagierte Kunden sind, liegt darin, dass wir von unserer Seite aus viele Kompromisse bei der Leistung eingehen müssen“, sagte Brockmann. “Vielleicht können wir auf Anfrage eine Version davon anbieten.”

Angesichts des wachsenden Drucks von OpenAI, nach einer milliardenschweren Investition von Microsoft Gewinne zu erzielen, wäre dies nicht sehr überraschend.