LangChain · AI

Hoe een Model Router te Bouwen in de Harness

Sydney Runkle, productmanager voor het open source team van LangChain, legt uit hoe het team een modelrouter heeft ingebouwd in Open SWE, LangChain's open source coderingsagent. Ze behandelt de vier stappen: het in kaart brengen van de taakmix aan de hand van LangSmith-traces, het kiezen van modellen langs de Pareto-grens, het bouwen van de router in de harness, en het volgen van de resultaten. In een A/B-test tegen het altijd gebruiken van het prestatiemodel, verlaagde de router de mediane kosten per thread met 64% zonder

Introductie van de bron.