AI Engineer · AI

Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell — Akamai

Een klein model raadt de volgende paar tokens. Het grote model controleert ze in één keer. Wanneer is dat de moeite waard? Sheilah Kirui, developer advocate bij Akamai, legt speculatieve decodering uit en hoe je kunt bepalen of het de moeite waard is om het in te schakelen. Ze doorloopt de prefill- en decodeerfasen van inferentie, hoe een klein conceptmodel tokens voorstelt die het doelmodel in één enkele forward pass verifieert, en de geheugenkosten van het hosten van een tweede model en zijn KV-cache.

Introductie van de bron.