AI Engineer · AI

Autoresearch maakte onze modellen 3x sneller — Tejas Bhakta, Morph

GPU-kernels zijn een bijna perfect doelwit voor autoresearch, omdat ze gemakkelijk te verifiëren zijn: correct, en snel of niet. Tejas Bhakta, oprichter van Morph en voorheen werkzaam bij inferentie-optimalisatie bij Tesla, laat zien hoe zijn team door agenten geschreven aangepaste kernels combineerde met bare-metal hardware-aanpassingen om modellen drie keer sneller te maken op goedkopere GPU's. Zijn regel is simpel: mensen brengen de ideeën en autoresearch doet de afstemming. Agents zijn geweldig in het kiezen van blokgroottes

Introductie van de bron.