AI Engineer · AI

Waarom AI-agenten een context van een miljoen tokens nodig hebben — Thomas Wolf & Olive Song, MiniMax

Een stagiair ontwierp de sparse-attention architectuur achter MiniMax M3. Dat detail komt nadat Olive Song het grotere probleem uitlegt dat het team probeerde op te lossen: korte contextvensters zijn niet voldoende wanneer agenten moeten werken met lange gesprekken, toolreacties en complexe omgevingen. M3 combineert een functioneel contextvenster van één miljoen tokens met codeer-, agent- en multimodale mogelijkheden, waardoor het tekst, afbeeldingen en video kan begrijpen.

Introductie van de bron.