AI Engineer · AI

Uw LLM-rechter is een zelfverzekerde leugenaar: betere verificatoren bouwen — Browserbase

De officiële rechter zei dat de agent 74% van de tijd succesvol was. Een betere verificator zei 38%. Miguel González Fernández, tech lead voor het agentplatform van Browserbase, en Corby Rosset, onderzoeker bij Microsoft Research, presenteren hun onderzoek naar verificatoren voor computergebruik en webagents. Deterministische evaluaties schaalden niet meer naarmate agents verbeterden, en de LLM-rechters die gebundeld waren met populaire webbenchmarks bleken vol vertrouwen ongelijk te hebben. Train ertegen en

Introductie van de bron.