AI Engineer · AI

Agentic Search vs Vector Search for Coding Agents: We Ran the Eval — Braintrust

Zelfde nauwkeurigheid. Vier keer de kosten. Wat gebeurde er toen Braintrust vector search tegen agentic search inzette voor een coderingsagent. Jess Wang, developer advocate bij Braintrust, begint met de basisprincipes van evals: waarom verzenden op basis van 'vibes' mislukt, de vier onderdelen van een eval (dataset, taak, scorer, experimenten), en hoe observeerbaarheid en evals een vliegwiel vormen. Daarna voert ze een echte uit. Met behulp van fix PR's van Microsoft's TypeScript Go repo, laat ze Claude Code fin

Introductie van de bron.