AI Engineer · AI

Het einde van TCP voor AI-clusters — John Ousterhout, Stanford

Verdeel een taak over verschillende knooppunten, laat hun GPU's rekenen en laat ze vervolgens een beetje metadata uitwisselen voor de volgende ronde. Terwijl die uitwisseling plaatsvindt, zit elke GPU stil en wacht het hele cluster op de langzaamste. Toen een rekenfase vijf seconden duurde en de uitwisseling een paar milliseconden, maakte niemand zich zorgen. Agentic inference heeft die rekenfasen teruggebracht tot milliseconden, dus de synchronisatie kost nu ongeveer evenveel als het werk.

Introductie van de bron.