Tweakers · Technologie

Nvidia PAIR laat lokale AI-clusters ook met Apple-chips draaien

Nvidia heeft Personal AI Router (PAIR) uitgebracht, een opensourcesoftware die het mogelijk maakt om AI-taken te verdelen over meerdere apparaten in een lokaal netwerk. Dit werkt niet alleen met Nvidia's eigen hardware, maar ook met die van andere fabrikanten, waaronder Apple.

PAIR herkent apparaten met AI-rekenkracht op je netwerk en verdeelt AI-taken over deze apparaten, rekening houdend met hun individuele rekenkracht. De software kan ook rekening houden met bestaand gebruik van een GPU, bijvoorbeeld voor gaming. PAIR is compatibel met Ollama en LM Studio, die de AI-modellen draaien, terwijl PAIR fungeert als router. Nvidia ziet vooral toepassingen in workflows waarbij een AI-agent een taak opsplitst in subagents die parallel kunnen draaien, wat de efficiëntie verhoogt.

Naast Nvidia's RTX-videokaarten en DGX Spark, ondersteunt PAIR ook GPU's en SoC's van andere merken, zoals de Apple M4-soc of nieuwere modellen. Voor Nvidia-hardware is dit vanaf de RTX 20-serie. Gebruikers kunnen zelf bepalen welke apparaten aan een cluster worden toegevoegd of uitgesloten. PAIR is getest met 18 GPU's, maar kan theoretisch meer kaarten ondersteunen.

Nvidia PAIR is nu beschikbaar als bètaversie voor Windows 11, Ubuntu, DGX OS en macOS.

AI-samenvatting op basis van de bron.