Das Wichtigste in Kürze

  • EAGLE-4 ist ein von Eagle veröffentlichter Open-Source-Inferenzcode für spekulative Dekodierung, der die Textgenerierung großer Sprachmodelle beschleunigt, ohne die Qualität zu verschlechtern.
  • Ein kleines Draft-Modell rät Tokens vor, die das große Modell anschließend prüft; das Draft-Modell passt sich automatisch an Nebenläufigkeit und GPU-Konfiguration an und soll so bis zu viermal schneller sein.
  • Der offizielle Benchmark erreichte 961,6 Tokens/s auf Qwen3.8-27B mit TokenSpeed, BF16, vier NVIDIA B300, TP4, einer Anfrage und T=0.
  • Der Code ist kostenlos im offiziellen Repository auf github.com verfügbar; für die Ausführung brauchst du eine Python-Umgebung und eine NVIDIA-GPU mit ausreichend VRAM.

Kurzüberblick

TypOpen-Source-Inferenzcode für spekulative Dekodierung
GerätePC/Server mit NVIDIA-GPU; Browser nur zum Ansehen
KostenKostenlos, keine Registrierung nötig
SprachenCode und Dokumentation auf Englisch
HighlightBis zu 4x schneller ohne Qualitätsverlust
EinstiegRepository auf github.com klonen und README folgen
KategorieDev- & Web-Tools
UrheberEagle
Offizielle Seitegithub.com ↗
Trend-Index🔥 5,2 Mio. Trend-Index
Zuletzt aktualisiert

Was EAGLE-4 ist und warum es gerade so viel Aufmerksamkeit bekommt

EAGLE-4 ist die neueste Version der EAGLE-Reihe von Eagle, einem Open-Source-Projekt zur Beschleunigung der Inferenz großer Sprachmodelle. Nach EAGLE-1, EAGLE-2 und EAGLE-3 setzt die vierte Generation auf spekulative Dekodierung: Ein kleines Draft-Modell rät mehrere Tokens voraus, die das große Modell dann in einem Durchgang prüft. Dadurch sinkt die Zahl der teuren Vorwärtsdurchläufe des Hauptmodells, und die Textgenerierung wird deutlich schneller.

Der entscheidende Fortschritt gegenüber früheren Versionen ist die automatische Anpassung des Draft-Modells an die aktuelle Nebenläufigkeit und die eingesetzte GPU-Konfiguration. Das bedeutet: Ob du eine einzelne Anfrage oder viele parallele Anfragen bedienst, ob du eine oder mehrere GPUs nutzt, EAGLE-4 justiert den Draft-Mechanismus selbst. Laut Eagle sind damit bis zu viermal höhere Geschwindigkeiten möglich, ohne dass die Ausgabequalität leidet.

Die Aufmerksamkeit kommt nicht von ungefähr: Im offiziellen Benchmark erreichte EAGLE-4 961,6 Tokens pro Sekunde auf Qwen3.8-27B mit TokenSpeed, BF16, vier NVIDIA B300, TP4, einer Anfrage und T=0. Eagle gibt außerdem an, dass die Technologie hinter EAGLE unter anderem NVIDIA, Meta, Intel, AMD und Perplexity unterstützt. Für Teams, die eigene LLMs betreiben, ist das ein starkes Argument, um Inferenzkosten zu senken.

  • Spekulative Dekodierung einfach erklärt

    Ein kleines Draft-Modell schlägt mehrere Tokens vor, das große Modell verifiziert sie parallel. Nur bei Abweichungen wird korrigiert, was Rechenzeit spart.

  • Automatische Draft-Anpassung

    Das Draft-Modell wird je nach Nebenläufigkeit und GPU-Setup automatisch skaliert. Das unterscheidet EAGLE-4 von früheren Versionen mit statischer Konfiguration.

  • Offizieller Benchmark

    961,6 Tokens/s auf Qwen3.8-27B mit TokenSpeed, BF16, vier B300, TP4, einer Anfrage und T=0. Diese Werte dienen als Referenz für eigene Tests.

  • Open Source und kostenlos

    Der Code liegt im offiziellen Repository auf github.com und kann ohne Registrierung eingesehen, geklont und genutzt werden.

So funktioniert EAGLE-4 im Detail: Draft-Modell, Verifikation und TokenSpeed

Das Herzstück von EAGLE-4 ist ein Draft-Modell, das auf dem Zielmodell aufsetzt und mehrere mögliche nächste Tokens vorhersagt. Das große Modell prüft diese Vorschläge in einem einzigen Vorwärtsdurchlauf und akzeptiert die korrekten Tokens. Da die Verifikation parallel erfolgt, entsteht kein Qualitätsverlust: Das Endergebnis entspricht exakt dem, was das große Modell allein erzeugt hätte. Der Geschwindigkeitsgewinn entsteht dadurch, dass mehrere Tokens pro Durchlauf bestätigt werden.

Die automatische Anpassung des Draft-Modells ist der zentrale Unterschied zu EAGLE-1 bis EAGLE-3. Das System beobachtet, wie viele Anfragen gleichzeitig bearbeitet werden und wie viele GPUs beteiligt sind, und wählt dann eine passende Draft-Strategie. Bei hoher Nebenläufigkeit wird der Draft konservativer, um die Akzeptanzrate hoch zu halten; bei einer einzelnen Anfrage darf er aggressiver raten. So bleibt der Speedup über verschiedene Lastszenarien hinweg stabil.

Für den offiziellen Benchmark kombinierte Eagle EAGLE-4 mit TokenSpeed, einer Inferenz-Engine, und lud Qwen3.8-27B im BF16-Format. Die Hardware bestand aus vier NVIDIA B300 GPUs mit Tensor-Parallelismus TP4, einer einzelnen Anfrage und einer Temperatur von T=0, also deterministischem Sampling. Unter diesen Bedingungen wurden 961,6 Tokens pro Sekunde gemessen. Wichtig: Das sind Laborwerte unter idealen Bedingungen; deine realen Werte hängen von Modell, Hardware, Batch-Größe und Engine ab.

  • Draft-Modell und Akzeptanzrate

    Je höher die Akzeptanzrate der vorgeschlagenen Tokens, desto größer der Speedup. EAGLE-4 optimiert diese Rate automatisch über die Last.

  • TokenSpeed als Inferenz-Engine

    TokenSpeed übernimmt die eigentliche Ausführung und arbeitet mit EAGLE-4 zusammen. Prüfe im Repository, welche Versionen kompatibel sind.

  • BF16 und TP4

    BF16 reduziert den Speicherbedarf gegenüber FP32, TP4 verteilt das Modell auf vier GPUs. Beide Einstellungen sind für die Reproduktion des Benchmarks wichtig.

  • T=0 für deterministische Tests

    Mit Temperatur 0 sind die Ausgaben reproduzierbar, was Benchmarks vergleichbar macht. Für kreative Anwendungen nutzt du höhere Werte.

EAGLE-4 installieren und den Benchmark selbst nachstellen

Der Einstieg beginnt im offiziellen Repository auf github.com, das den Titel Official Inference Code of EAGLE-4 trägt. Dort findest du den Quellcode, Installationsanweisungen und Beispielskripte für die Inferenz. Du klonst das Repository oder lädst es als Archiv herunter und folgst der README. Eine Registrierung oder ein kostenpflichtiges Abonnement ist nicht erforderlich, der Code ist frei verfügbar.

Für die Ausführung brauchst du eine Python-Umgebung mit den nötigen Abhängigkeiten sowie eine NVIDIA-GPU mit ausreichend VRAM und passender CUDA-Version. Welche GPU für welches Modell ausreicht, hängt von der Modellgröße und der Quantisierung ab; konkrete Mindestanforderungen stehen in der README. Ein Browser auf dem Smartphone reicht nur zum Lesen des Codes, nicht zum Ausführen der Inferenz.

Um den offiziellen Benchmark nachzustellen, richtest du Qwen3.8-27B mit TokenSpeed ein und setzt BF16, TP4, eine einzelne Anfrage und T=0. Miss dann die Tokens pro Sekunde und vergleiche mit dem Referenzwert von 961,6. Beachte, dass Abweichungen durch andere GPU-Modelle, Treiberversionen oder Batch-Größen normal sind. Für eigene Anwendungen kannst du anschließend die Nebenläufigkeit erhöhen und beobachten, wie das Draft-Modell automatisch nachjustiert.

  • Repository und README zuerst lesen

    Die README enthält die offiziellen Schritte und Beispielbefehle. Weiche nicht ohne Grund davon ab, wenn du den Benchmark reproduzieren willst.

  • Umgebung sorgfältig einrichten

    Achte auf kompatible Versionen von Python, CUDA und PyTorch. Versionskonflikte sind die häufigste Fehlerquelle bei Inferenz-Setups.

  • Baseline vor Optimierung messen

    Miss zuerst die Tokens/s ohne EAGLE-4, dann mit. So siehst du den tatsächlichen Speedup auf deiner Hardware.

  • Nebenläufigkeit schrittweise erhöhen

    Starte mit einer Anfrage und steigere die Parallelität. Beobachte, ob die automatische Draft-Anpassung die Akzeptanzrate stabil hält.

Für wen sich EAGLE-4 lohnt, wo die Grenzen liegen und was Alternativen sind

EAGLE-4 richtet sich an Entwickler, ML-Ingenieure und Teams, die große Sprachmodelle selbst betreiben und die Inferenzkosten senken wollen. Besonders wertvoll ist es, wenn du bereits eine NVIDIA-GPU-Infrastruktur nutzt und Modelle wie Qwen3.8-27B mit TokenSpeed ausführst. Durch die automatische Draft-Anpassung profitierst du sowohl bei einzelnen interaktiven Anfragen als auch bei hoher Parallelität, etwa in Chat-Diensten oder Batch-Verarbeitung.

Die Grenzen liegen in der Hardware- und Modellabhängigkeit. EAGLE-4 ist auf NVIDIA-GPUs ausgelegt; für andere Beschleuniger gibt es keine offizielle Bestätigung. Auch die Modellkompatibilität ist nicht unbegrenzt: Der offizielle Benchmark nutzt Qwen3.8-27B, für andere Modelle musst du Tokenizer und Draft-Modell prüfen. Der beworbene Speedup von bis zu viermal ist ein Best-Case-Wert; in der Praxis hängt er von Akzeptanzrate, Batch-Größe und Speicherbandbreite ab.

Als Alternativen kommen andere spekulative Dekodierungsverfahren in Frage, etwa Medusa, Lookahead Decoding oder die spekulative Dekodierung in Frameworks wie vLLM und TensorRT-LLM. Diese verfolgen ähnliche Ziele, unterscheiden sich aber in der Draft-Strategie und der Integration. EAGLE-4 positioniert sich durch die automatische Anpassung an Nebenläufigkeit und GPU sowie durch die offenen Benchmarkwerte. Welche Lösung für dich besser ist, hängt von deinem Modell, deiner Engine und deiner Hardware ab; ein eigener Vergleichstest ist empfehlenswert.

  • Ideal für eigene LLM-Deployments

    Wenn du Inferenzkosten senken und Latenz verbessern willst, ist EAGLE-4 einen Test wert. Besonders bei NVIDIA-Hardware und TokenSpeed.

  • Hardware- und Modellgrenzen beachten

    NVIDIA-GPU und kompatible Modelle sind Voraussetzung. Prüfe vorab VRAM-Bedarf und Tokenizer-Kompatibilität im Repository.

  • Vergleich mit anderen Verfahren

    Medusa, Lookahead Decoding und Engine-integrierte Lösungen sind Alternativen. Vergleiche Akzeptanzrate und Integrationsaufwand für deinen Use Case.

  • Speedup realistisch einordnen

    Bis zu 4x ist ein beworbener Best-Case. Deine realen Werte können niedriger ausfallen, abhängig von Last und Hardware.

Schritt-für-Schritt-Anleitung

  1. Offizielles Repository öffnen

    Rufe das offizielle Repository auf github.com auf und lies die README mit dem Titel Official Inference Code of EAGLE-4. Dort findest du Quellcode, Setup-Anleitung und Beispielskripte. Eine Registrierung ist nicht nötig.

  2. Umgebung vorbereiten

    Installiere Python und die in der README genannten Abhängigkeiten. Stelle sicher, dass eine NVIDIA-GPU mit passender CUDA-Version und ausreichend VRAM verfügbar ist. Prüfe die Kompatibilität deiner Treiber, bevor du startest.

  3. Modell und Draft konfigurieren

    Lade das Zielmodell, im offiziellen Beispiel Qwen3.8-27B, und richte TokenSpeed als Inferenz-Engine ein. Setze BF16, TP4, eine einzelne Anfrage und T=0, wenn du den Referenzwert reproduzieren willst. Das Draft-Modell wird automatisch angepasst.

  4. Inferenz starten und messen

    Führe das Beispielskript aus und miss die Tokens pro Sekunde. Vergleiche mit dem offiziellen Wert von 961,6 Tokens/s unter den genannten Bedingungen. Notiere Abweichungen und prüfe GPU-Auslastung sowie Speicherverbrauch.

  5. Skalieren und optimieren

    Erhöhe schrittweise die Nebenläufigkeit und beobachte, wie das Draft-Modell automatisch nachjustiert. Teste verschiedene Batch-Größen und Temperaturen für deinen Anwendungsfall. Dokumentiere die Ergebnisse, um den besten Kompromiss aus Latenz und Durchsatz zu finden.

Häufige Fragen

Kann ich EAGLE-4 kostenlos nutzen und wo finde ich den offiziellen Link?

Ja, EAGLE-4 ist kostenlos und ohne Registrierung nutzbar. Der Quellcode liegt im offiziellen Repository auf github.com, das den Titel Official Inference Code of EAGLE-4 trägt. Dort findest du auch die Setup-Anleitung und Beispielskripte. Für die Ausführung brauchst du allerdings eine eigene Python-Umgebung mit NVIDIA-GPU.

Welche Hardware und Software brauche ich, um EAGLE-4 auszuführen?

Du benötigst eine NVIDIA-GPU mit ausreichend VRAM, eine passende CUDA-Version und eine Python-Umgebung mit den in der README genannten Abhängigkeiten. Der offizielle Benchmark nutzt vier NVIDIA B300 GPUs mit TP4 und BF16. Kleinere Setups können funktionieren, aber die genauen Mindestanforderungen solltest du im Repository prüfen.

Was bedeutet spekulative Dekodierung und warum verliert EAGLE-4 keine Qualität?

Bei der spekulativen Dekodierung schlägt ein kleines Draft-Modell mehrere Tokens vor, die das große Modell anschließend in einem Durchgang prüft. Nur bestätigte Tokens werden übernommen, sodass die Ausgabe identisch mit der des großen Modells bleibt. Der Geschwindigkeitsgewinn entsteht durch die parallele Verifikation mehrerer Tokens pro Durchlauf.

Kann ich EAGLE-4 auf dem Smartphone oder im Browser nutzen?

Du kannst das Repository auf github.com mit jedem Browser ansehen, auch auf dem Smartphone. Die eigentliche Inferenz läuft jedoch nicht im Browser, sondern auf einem PC oder Server mit NVIDIA-GPU und Python-Umgebung. Für mobiles Ausprobieren müsstest du auf einen entfernten Server zugreifen, was zusätzliche Einrichtung erfordert.

Wie reproduziere ich den offiziellen Benchmark von 961,6 Tokens/s?

Richte Qwen3.8-27B mit TokenSpeed ein und setze BF16, TP4, eine einzelne Anfrage und T=0. Nutze möglichst vier NVIDIA B300 GPUs, wie im offiziellen Test. Miss dann die Tokens pro Sekunde mit einem vergleichbaren Skript. Abweichungen durch andere Hardware oder Treiberversionen sind normal und kein Fehler.