Sandkasser til agentevalueringer
I en evaluering skal hver opgave starte fra samme tilstand. Start hver kørsel ud fra samme skabelon, eller opret den som en forgrening af en sandkasse, du har sat op. Hver kørsel får sin egen disk og kerne.
Det får agenten
- Samme udgangspunkt for hver kørsel
- Hver sandkasse starter ud fra en skabelon eller et øjebliksbillede af en anden sandkasse. Ingen kørsel kan se ændringerne fra en anden kørsel.
- Betal pr. sekund for hver kørsel
- Forbruget måles for hvert sekund, en sandkasse kører, og det er gratis at starte den. En opgave, der kører i 90 sekunder, afregnes for 90 sekunder.
Spørgsmål
Kan to kørsler dele en disk?
Nej. Hver sandkasse har sin egen disk. En forgrening kopierer det seneste øjebliksbillede, så den nye sandkasse starter med de samme filer og derefter kun ændrer sin egen kopi.
Begreber på denne side
- DiskøjebliksbilledeEt diskøjebliksbillede er en gemt kopi af en maskines disk på et bestemt tidspunkt. En ny maskine kan startes fra kopien med de samme filer.
- AI-sandkasseEn AI-sandkasse er en isoleret computer, hvor en AI-agent kører kode. Kode i sandkassen kan ikke få adgang til værtsmaskinen eller andre sandkasser.
Giv dine agenter et arbejdsområde
Opret et arbejdsområde, eller kopiér opsætningsinstruktionen, og lad din agent selv tilmelde sig.