ChatGPT kann menschliche Smart-Contract-Validatoren noch nicht schlagen: OpenZeppelins Ethernaut-Herausforderungen

Während generative künstliche Intelligenz (KI) in der Lage ist, eine Vielzahl von Aufgaben zu erfüllen, ist ChatGPT-4 von OpenAI aktuellen Tests zufolge derzeit nicht in der Lage, intelligente Verträge so effektiv zu prüfen wie menschliche Prüfer.

Um herauszufinden, ob KI-Tools menschliche Validatoren ersetzen können, stellten Mariko Wakabayashi, Mariko Wakabayashi und Flex Wegner von OpenZeppel ChatGPT-4 auf die Sicherheitsherausforderung von Ethernaut.

Obwohl das KI-Modell die meisten Level bestanden hat, hatte es Schwierigkeiten mit neueren Levels, die nach dem Stichtag der Trainingsdaten im September 2021 eingereicht wurden, da das Plug-in, das die Web-Konnektivität ermöglicht, nicht im Test enthalten war.

Ethernaut ist ein Kriegsspiel, das innerhalb der Ethereum Virtual Machine gespielt wird und aus 28 Smart Contracts – oder Levels – besteht, die gehackt werden müssen. Mit anderen Worten: Level werden abgeschlossen, sobald der richtige Exploit gefunden wurde.

Laut dem vom KI-Team von OpenZeppelin durchgeführten Test war ChatGPT-4 in der Lage, die Schwachstelle zu erkennen und 20 der 28 Stufen zu bestehen, benötigte jedoch einige zusätzliche Eingabeaufforderungen, um einige Stufen nach der ersten Eingabeaufforderung zu lösen: „Tut Hat der folgende Smart-Vertrag eine Schwäche?“

Als Antwort auf die Fragen von Cointelegraph wies Wegener darauf hin, dass OpenZeppelin von seinen Validatoren erwarte, dass sie in der Lage seien, alle Ebenen von Ethernaut zu absolvieren, wie es allen fähigen Autoren möglich sein sollte.

Während Wakabayashi und Wegener zu dem Schluss kommen, dass ChatGPT-4 derzeit nicht in der Lage ist, menschliche Validatoren zu ersetzen, betonen sie, dass es dennoch als Werkzeug zur Verbesserung der Effizienz intelligenter Vertragsvalidatoren und der Erkennung von Schwachstellen eingesetzt werden kann, und erklären:

„Für die Community der Web3-BUIDLer haben wir ein tröstendes Wort: Ihr Job ist sicher! Wenn Sie wissen, was Sie tun, kann KI genutzt werden, um Ihre Effizienz zu verbessern.“

Auf die Frage, ob ein Tool, das die Effizienz menschlicher Prüfer steigert, bedeutet, dass Unternehmen wie OpenZeppelin nicht so viele benötigen, sagte Wegener gegenüber Cointelegraph, dass die Gesamtnachfrage nach Prüfungen die Fähigkeit, qualitativ hochwertige Prüfungen bereitzustellen, übersteige, und sie erwarten die Zahl der Personen als Rezensenten in Web3 arbeiten, um weiter zu wachsen. .

Verwandt: Satoshi Nak-AI-moto: Der Bitcoin-Ersteller ist zu einem KI-Chatbot geworden

Am 31. Mai Twitter ZeichenfolgeWakabayashi sagte, dass Language Large Models (LLMs) wie ChatGPT noch nicht für eine intelligente Vertragssicherheitsprüfung bereit seien, da es sich um eine Aufgabe handele, die ein hohes Maß an Präzision erfordere, und LLM für die Generierung von Text und die Durchführung menschenähnlicher Gespräche optimiert sei.

Da LLMs jedes Mal versuchen, das wahrscheinlichste Ergebnis vorherzusagen, ist die Ausgabe inkonsistent.

Dies ist eindeutig ein großes Problem für Aufgaben, die ein hohes Maß an Sicherheit und Genauigkeit der Ergebnisse erfordern.

– Mariko (@mwkby) 31. Mai 2023

Wakabayashi schlug jedoch vor, dass ein KI-Modell, das mit benutzerdefinierten Daten und Ausgabezielen trainiert wird, zuverlässigere Lösungen bieten könnte als Chatbots, die derzeit der Öffentlichkeit zur Verfügung stehen und mit großen Datenmengen trainiert werden.

Was bedeutet das für die KI in Web Security 3?

Wenn wir ein KI-Modell mit gezielteren Schwachstellendaten und spezifischen Ausgabezielen trainieren, können wir Lösungen entwickeln, die genauer und zuverlässiger sind als leistungsstarke LLMs, die auf riesigen Datenmengen trainiert werden.

– Mariko (@mwkby) 31. Mai 2023

KI-Auge: 25.000 Händler wetten auf Aktienauswahl in ChatGPT, KI saugt bei Würfelwürfen und mehr