IBM Technology · AI

Hoe AI-modellen verder schalen dan één GPU voor LLM-workloads

Lees hier meer over AI-modellen → https://ibm.biz/~GnXROtDog De grootste AI-modellen passen niet op één GPU. Grace Ableidinger legt uit hoe gedistribueerde AI-inferentie LLM's schaalt over GPU's met behulp van data-, pijplijn-, tensor- en expertparallellisme. Leer hoe KV-cache, doorvoer en prefill/decode-knelpunten de productie van AI-serving vormgeven. 00:00 – Waarom AI-modellen gedistribueerde inferentie nodig hebben 01:50 – Schaalt LLM-verkeer met dataparallellisme 02:45 – Split AI M

Introductie van de bron.