Sagen wir, Sie möchten ein großes Sprachmodell wie Llama2-70B ausführen. Ein derart massives Modell erfordert mehr als 140 GB Speicher, was bedeutet, dass Sie das Rohmodell nicht auf Ihrem Heimrechner ausführen können. Was sind Ihre Möglichkeiten? Sie könnten zu einem Cloud-Anbieter springen, aber Sie könnten nicht allzu begeistert davon sein, einem einzigen zentralisierten Unternehmen zu vertrauen, um diese Arbeitslast für Sie zu übernehmen und alle Ihre Nutzungsdaten aufzusaugen. Dann brauchen Sie dezentrale Inferenz, mit der Sie ML-Modelle ausführen können, ohne sich auf einen einzelnen Anbieter verlassen zu müssen.

Das Vertrauensproblem

In einem dezentralen Netzwerk reicht es nicht aus, einfach ein Modell auszuführen und dem Ergebnis zu vertrauen. Angenommen, ich bitte das Netzwerk, ein Governance-Dilemma mit Llama2-70B zu analysieren. Wie weiß ich, dass es tatsächlich nicht Llama2-13B verwendet, mir eine schlechtere Analyse liefert und den Unterschied einsteckt?

In der zentralisierten Welt könnten Sie darauf vertrauen, dass Unternehmen wie GateAI dies ehrlich tun, weil ihr Ruf auf dem Spiel steht (und in gewissem Maße ist die Qualität von LLM offensichtlich). Aber in der dezentralisierten Welt wird Ehrlichkeit nicht angenommen - sie wird überprüft.

Hier kommt verifizierbare Inferenz ins Spiel. Neben der Beantwortung einer Anfrage beweisen Sie auch, dass sie korrekt auf dem von Ihnen angeforderten Modell ausgeführt wurde. Aber wie?

Der naive Ansatz wäre, das Modell als Smart Contract On-Chain auszuführen. Dies würde definitiv garantieren, dass die Ausgabe verifiziert wurde, aber dies ist extrem unpraktisch. GPT-3 repräsentiert Wörter mit einer Einbettungsdimension von 12.288. Wenn Sie eine einzige Matrixmultiplikation dieser Größe On-Chain durchführen würden, würde dies bei den aktuellen Gaspreisen etwa 10 Milliarden Dollar kosten - die Berechnung würde jeden Block für etwa einen Monat lang füllen.

Also nein. Wir werden einen anderen Ansatz brauchen.

Nachdem ich die Landschaft beobachtet habe, ist es mir klar geworden, dass drei Hauptansätze zur Bewältigung verifizierbarer Inferenz entstanden sind: Zero-Knowledge-Beweise, optimistische Betrugsbeweise und Kryptowirtschaft. Jeder hat seine eigene Art von Sicherheit und Kostenimplikationen.

1. Zero-Knowledge Proofs (ZK ML)

Stellen Sie sich vor, Sie könnten nachweisen, dass Sie ein riesiges Modell ausgeführt haben, aber der Nachweis ist effektiv unabhängig von der Größe des Modells eine feste Größe. Das verspricht ZK ML, durch die Magie von ZK-SNARKs.

Während es in der Theorie elegant klingt, ist es äußerst schwierig, ein tiefes neuronales Netzwerk in Zero-Knowledge-Schaltkreise zu kompilieren, die dann nachgewiesen werden können. Es ist auch extrem teuer - mindestens dürfte es sich um beträchtliche Kosten handeln.@ModulusLabs/Kapitel-5-Die-Kosten-der-Intelligenz-da26dbf93307">1000x Kosten für Inferenz und 1000x Latenz (die Zeit zur Erstellung des Nachweises), ganz zu schweigen davon, dass das Modell selbst in einen Schaltkreis kompiliert werden muss, bevor irgendetwas davon geschehen kann. Letztendlich müssen diese Kosten an den Benutzer weitergegeben werden, daher wird dies für Endbenutzer sehr teuer sein.

Auf der anderen Seite handelt es sich hierbei um den einzigen Ansatz, der kryptografisch die Korrektheit garantiert. Mit ZK kann der Modellanbieter nicht betrügen, egal wie sehr er es versucht. Dies geschieht jedoch zu hohen Kosten, was dies für große Modelle in absehbarer Zukunft unpraktikabel macht.

Beispiele: EZKL, Modulus Labs, Giza

2. Optimistische Betrugsnachweise (Optimistische ML)

Der optimistische Ansatz besteht darin, zu vertrauen, aber zu überprüfen. Wir gehen davon aus, dass die Schlussfolgerung korrekt ist, es sei denn, das Gegenteil wurde bewiesen. Wenn ein Knoten versucht zu betrügen, können ihn 'Beobachter' im Netzwerk als Betrüger entlarven und sie mithilfe eines Betrugsnachweises herausfordern. Diese Beobachter müssen die Kette ständig im Auge behalten und die Schlussfolgerungen in ihren eigenen Modellen erneut durchführen, um sicherzustellen, dass die Ausgaben korrekt sind.

Diese Betrugsnachweise sind Truebit-StilInteraktive Challenge-Response-Spiele, bei denen Sie die Modellausführungsspur on-chain wiederholt bis zur Fehlerfindung bisezieren.

Wenn dies tatsächlich passiert, ist es unglaublich kostspielig, da diese Programme massiv sind und über riesige interne Zustände verfügen - eine einzige GPT-3-Inferenz kostet etwa 1 Petaflop(10¹⁵ Floating Point Operationen). Aber die Spieltheorie legt nahe, dass dies so gut wie nie passieren sollte (Betrugsnachweise sind auch berüchtigt schwer korrekt zu codieren, da der Code in der Produktion fast nie ausgeführt wird).

Die positive Seite ist, dass optimistisches ML sicher ist, solange es einen einzigen ehrlichen Beobachter gibt, der aufpasst. Die Kosten sind günstiger als bei ZK ML, aber bedenken Sie, dass jeder Beobachter im Netzwerk jede Abfrage selbst neu ausführt. Im Gleichgewicht bedeutet dies, dass, wenn es 10 Beobachter gibt, diese Sicherheitskosten auf den Benutzer übertragen werden müssen, sodass sie mehr als das 10-fache der Inferenzkosten zahlen müssen (oder wie viele Beobachter es auch gibt).

Der Nachteil, wie bei optimistischen Rollups im Allgemeinen, ist, dass Sie auf das Ende der Herausforderungsfrist warten müssen, bevor Sie sicher sein können, dass die Antwort verifiziert ist. Je nachdem, wie das Netzwerk parameterisiert ist, könnte es jedoch sein, dass Sie nur Minuten und nicht Tage warten müssen.

Beispiele: Ora, Gensyn(obwohl derzeit nicht ausreichend spezifiziert)

3. Cryptökonomie (Cryptökonomische ML)

Hier lassen wir alle ausgefallenen Techniken fallen und machen das Einfache: Abstimmung nach Einsatzgewicht. Ein Benutzer entscheidet, wie viele Knoten ihre Abfrage ausführen sollen, sie offenbaren jeweils ihre Antworten, und wenn es Unstimmigkeiten zwischen den Antworten gibt, wird der ungewöhnliche ausgeschlossen. Standard-Orakel-Kram - es ist ein geradlinigerer Ansatz, der es Benutzern ermöglicht, ihr gewünschtes Sicherheitsniveau festzulegen, Kosten und Vertrauen auszubalancieren. Wenn Chainlink ML machen würde, wäre das der Weg, wie sie es tun würden.

Die Latenz hier ist schnell — du brauchst nur eine commit-revealvon jedem Knoten. Wenn dies in eine Blockchain geschrieben wird, kann dies technisch gesehen in zwei Blöcken erfolgen.

Die Sicherheit ist jedoch am schwächsten. Eine Mehrheit der Knoten könnte rational wählen, zu kollaborieren, wenn sie schlau genug wären. Als Benutzer müssen Sie darüber nachdenken, wie viel diese Knoten aufs Spiel setzen und was es sie kosten würde, zu betrügen. Das gesagt, die Verwendung von etwas wie Eigenlayer Restaking und zuschreibungsfähige Sicherheit, das Netzwerk könnte im Falle eines Sicherheitsversagens effektiv Versicherungsschutz bieten.

Aber der schöne Teil dieses Systems ist, dass der Benutzer angeben kann, wie viel Sicherheit er möchte. Sie könnten wählen, ob sie 3 Knoten oder 5 Knoten in ihrem Quorum haben möchten, oder jeden Knoten im Netzwerk — oder, wenn sie YOLO wollen, könnten sie sogar n=1 wählen. Die Kostenfunktion hier ist einfach: Der Benutzer zahlt für die Anzahl der Knoten, die er in seinem Quorum haben möchte. Wenn Sie 3 wählen, zahlen Sie 3x die Inferenzkosten.

Die knifflige Frage hier: Können Sie n=1 sicher machen? In einer naiven Implementierung sollte ein einzelner Knoten jedes Mal betrügen, wenn niemand überprüft. Aber ich vermute, wenn Sie die Abfragen verschlüsseln und die Zahlungen über Absichten durchführen, könnten Sie in der Lage sein, dem Knoten zu verschleiern, dass sie tatsächlich der einzige sind, der auf diese Aufgabe reagiert. In diesem Fall könnten Sie dem durchschnittlichen Benutzer möglicherweise weniger als das 2-fache des Inferenzkosten berechnen.

Letztendlich ist der kryptowirtschaftliche Ansatz der einfachste, der einfachste und wahrscheinlich der billigste, aber er ist der am wenigsten sexy und im Prinzip der am wenigsten sichere. Aber wie immer steckt der Teufel im Detail.

Beispiele: Ritual(obwohl derzeit nicht ausreichend spezifiziert),Atoma Netzwerk

Warum überprüfbares ML schwer ist

Sie fragen sich vielleicht, warum wir das nicht schon alles haben? Immerhin sind maschinelles Lernen Modelle im Grunde genommen nur sehr große Computerprogramme. Der Beweis, dass Programme korrekt ausgeführt wurden, ist schon lange das A und O von Blockchains.

Das ist der Grund, warum diese drei Überprüfungsansätze die Wege widerspiegeln, auf denen Blockchains ihren Blockraum sichern - ZK-Rollups verwenden ZK-Beweise, optimistische Rollups verwenden Betrugsbeweise und die meisten L1-Blockchains verwenden Kryptowirtschaft. Es ist keine Überraschung, dass wir im Grunde genommen zu denselben Lösungen gelangt sind. Was macht es also schwierig, wenn es auf ML angewendet wird?

ML ist einzigartig, weil ML-Berechnungen in der Regel als dichte Berechnungsgraphen dargestellt werden, die so konzipiert sind, dass sie effizient auf GPUs ausgeführt werden können. Sie sind nicht darauf ausgelegt, bewiesen zu werden. Wenn Sie also ML-Berechnungen in einer ZK- oder optimistischen Umgebung beweisen möchten, müssen sie in einem Format neu kompiliert werden, das dies möglich macht – was sehr komplex und teuer ist.

Die zweite grundlegende Schwierigkeit bei ML ist die Nichtdeterminiertheit. Die Programmüberprüfung geht davon aus, dass die Ausgaben von Programmen deterministisch sind. Wenn Sie jedoch dasselbe Modell auf verschiedenen GPU-Architekturen oder CUDA-Versionen ausführen, erhalten Sie unterschiedliche Ausgaben. Selbst wenn Sie jeden Knoten zwingen, dieselbe Architektur zu verwenden, haben Sie immer noch das Problem der Zufälligkeit, die in Algorithmen verwendet wird (das Rauschen in Diffusionsmodellen oder die Token-Auswahl in LLMs). Sie können diese Zufälligkeit kontrollieren, indem Sie dieRNGSamen. Aber selbst damit bleibt Ihnen das letzte bedrohliche Problem: die Nichtdeterminismus, der in Gleitkommaoperationen inhärent ist.

Fast alle Operationen in GPUs werden mit Gleitkommazahlen durchgeführt. Gleitkommazahlen sind heikel, weil sie nicht assoziativ- das heißt, es stimmt nicht, dass (a + b) + c immer das gleiche ist wie a + (b + c) für Gleitkommazahlen. Da GPUs stark parallelisiert sind, kann die Reihenfolge von Additionen oder Multiplikationen bei jeder Ausführung unterschiedlich sein, was zu kleinen Unterschieden im Ergebnis führen kann. Dies dürfte sich auf die Ausgabe eines LLM aufgrund der diskreten Natur von Wörtern wahrscheinlich nicht auswirken, aber für ein Bildmodell können sich subtil unterschiedliche Pixelfarbwerte ergeben, die dazu führen, dass zwei Bilder nicht perfekt übereinstimmen.

Das bedeutet, dass Sie entweder vermeiden müssen, Gleitkommaoperationen zu verwenden, was einen enormen Leistungseinbruch bedeutet, oder Sie müssen etwas Nachsicht beim Vergleich der Ausgaben walten lassen. Wie auch immer, die Details sind kompliziert, und Sie können sie nicht genau abstrahieren. (Deshalb stellt sich heraus, dass die EVM unterstützt nichtGleitkommazahlen, obwohl einige Blockchains wie NEARdo.)

Kurz gesagt, dezentrale Inferenznetzwerke sind schwierig, weil alle Details wichtig sind und Die Realität hat eine überraschende Menge an Details.

Abschließend

Im Moment haben Blockchains und ML offensichtlich viel miteinander zu besprechen. Das eine ist eine Technologie, die Vertrauen schafft, und das andere ist eine Technologie, die dringend darauf angewiesen ist. Während jeder Ansatz zur dezentralen Inferenz seine eigenen Kompromisse hat, interessiere ich mich sehr dafür, zu sehen, was Unternehmer mit diesen Werkzeugen tun, um das beste Netzwerk aufzubauen.

Aber ich habe diesen Artikel nicht geschrieben, um das letzte Wort zu haben - Ich denke in Echtzeit viel über diese Ideen nach und führe lebhafte Debatten mit Menschen. Ich habe immer festgestellt, dass Schreiben der beste Weg ist, um meine Ideen zu testen. Wenn Sie etwas in diesem Bereich aufbauen, melden Sie sich! Ich würde immer gerne erfahren, woran Sie arbeiten - und wenn Sie mir das Gegenteil beweisen können, umso besser.

Haftungsausschluss：

1. Dieser Artikel wurde aus Gate.io wiedergegeben [Dragonfly Forschung], Alle Urheberrechte gehören dem Originalautor [ Haseeb Qureshi]. Wenn es Einwände gegen diesen Nachdruck gibt, kontaktieren Sie bitte das Gate LearnTeam und sie werden es sofort bearbeiten.
2. Haftungsausschluss: Die Ansichten und Meinungen, die in diesem Artikel zum Ausdruck gebracht werden, sind ausschließlich die des Autors und stellen keine Anlageberatung dar.
3. Übersetzungen des Artikels in andere Sprachen werden vom Gate Learn Team durchgeführt. Sofern nicht anders angegeben, ist das Kopieren, Verbreiten oder Plagiieren der übersetzten Artikel verboten.