Den som ikke ser på
Dette er tredje innlegg i en serie. I det første skrev vi om loopen: at det meste av fremgangen i AI nå kommer fra arbeidsmåten rundt modellen. I det andre handlet det om stoppbetingelsen, altså hvordan loopen vet at den er ferdig.
Dette innlegget handler om det neste steget. Hva skjer når loopen går, og ingen sitter og ser på?
Vi har jobbet sånn i et av våre egne prosjekter de siste ukene. Vi kaller det Nattravn her, fordi prosjektet i seg selv ikke er poenget. Planene Claude jobber etter kaller vi nattvaktplaner. Ikke fordi alt skjer om natten, men fordi de er skrevet for arbeid som ingen overvåker. Om det er natt eller ettermiddag spiller mindre rolle. Det som betyr noe, er at planen må tåle at du ikke er der.
For min del har det økt hvor mye jeg får gjort betraktelig. Men det kom ikke av seg selv. Det kom av reglene i planen.
Hva en nattvaktplan er
En nattvaktplan deler arbeidet i små oppgaver, og hver oppgave går gjennom tre roller:
Den som gjør jobben. Én agent får én oppgave med en presis beskrivelse. Der oppgaven har test-trinn, skriver den testen først, ser at den feiler av riktig grunn, bygger løsningen, og ser at testen går gjennom. Så committer den og skriver en rapport.
Den som kontrollerer. En egen agent leser endringen og sammenligner den med oppgaven. Den har ett tydelig mandat: rapporten fra den som gjorde jobben skal behandles som ubekreftede påstander.
Den som styrer. Holder oversikt, sender neste oppgave, og fører en logg over alt som skjer.
Hver oppgave må ende med ett av fire svar:
| Svar | Betyr |
|---|---|
| Ferdig | Oppgaven er gjort og testet |
| Ferdig, med forbehold | Gjort, men noe avviker fra planen og må ses på |
| Blokkert | Kommer ikke videre, og sier hvorfor |
| Trenger mer informasjon | Noe er uklart, og gjetter ikke |
Det siste er viktigere enn det ser ut. En agent uten tilsyn som gjetter, gjetter i timevis.
Fem regler vi har lært
1. Stopp heller enn å gjette
I planen står det rett ut: dårlig arbeid er verre enn ikke noe arbeid.
Det ble satt på prøve. Midt i Nattravn tok agenten åtte skjermbilder som skulle brukes videre. Alle åtte viste en rød kvalitetsscore på 0 prosent, fordi demodataene var ufullstendige. Å rette det krevde endringer utenfor prosjektet agenten hadde lov å røre.
Den som styrte, stoppet og spurte i stedet for å levere noe som så ferdig ut. Det er nøyaktig det en nattvakt skal gjøre.
2. Den som gjør jobben, skal ikke godkjenne den
Dette er regelen med mest dekning utenfra. Dokumentasjonen til Claude Code anbefaler en egen kontrollagent, slik at agenten som gjør jobben ikke er den som gir karakter.
En forskningsartikkel fra juli viser hvorfor. Agenter som vurderte sin egen fremgang meldte forbedring i hver eneste runde. I 56 prosent av rundene var den målte endringen null eller negativ. Når agenten selv fikk slippe gjennom endringer, godtok den etter hvert alt, og resultatet endte 19 prosent under det beste den allerede hadde nådd.
I Nattravn fant kontrolløren to ganger at rapporten fra den som gjorde jobben var feil på antall tester og linjer. Koden var riktig. Rapporten var det ikke. Det er et lite eksempel, men det er akkurat det artikkelen beskriver.
Og kontrollen er ikke ufeilbarlig heller. Én gang slapp et bilde med lesbar tekst gjennom, der det skulle vært uten. Det ble oppdaget på neste steg. Derfor har planen også porter der et menneske må godkjenne før arbeidet går videre.
3. Skriv ned hver avgjørelse, og hva den koster hvis den er feil
Kontrolløren må av og til ta avgjørelser selv. I Nattravn ble det elleve slike. Hver av dem er logget med én setning til slutt: hva det koster hvis den er feil.
«En enkelt linje å endre.» «Ingen kostnad utover å gi grenen nytt navn.» «En myk beskjæringskant i én scene på fire sekunder.»
Den setningen er hele poenget. Agenten får ta avgjørelser alene når feilen er billig. Er feilen dyr, er det din avgjørelse.
4. Sett tak før du går
En loop uten tak stopper ikke av seg selv. Nattvaktplanene har tre typer:
Tak på forsøk. Hver oppgave får maks fem retterunder. I Nattravn ble det brukt sju totalt, fordelt på alle oppgavene.
Tak på penger. Der arbeidet koster penger, sjekkes prisen før hver jobb, og det finnes et tak både per oppgave og for hele prosjektet.
Ting den aldri får gjøre. Den committer aldri på hovedgrenen. Koden til selve produktet er skrivebeskyttet. Og Claude skriver aldri inn passordet mitt. Innloggingen lager jeg selv, og til den finnes, venter oppgaven.
Anthropic beskriver det samme fra sine egne forsøk: agenter uten slike rammer prøvde å gjøre alt på én gang, og erklærte seg ferdige før de var det. Løsningen deres er én oppgave om gangen, en fremdriftslogg, og en commit etter hver oppgave.
5. Endre kurs med en ny jobb, ikke en melding underveis
Denne lærte vi på den harde måten. Midt i en oppgave ble det sendt beskjed om å legge til noe og stoppe. Agenten behandlet meldingen som et mulig forsøk på manipulasjon, ignorerte den, og fullførte den opprinnelige oppgaven.
Det er egentlig en god egenskap. En agent uten tilsyn skal ikke adlyde hva som helst som dukker opp underveis. Lærdommen i loggen er enkel: vil du endre kurs, send en ny oppgave.
Det lille som gjør stor forskjell
To ting til er verdt å ta med, selv om de ikke er regler.
Sjekk før du starter. Før første oppgave går, sammenligner planen hva hver oppgave lager med hva de neste trenger. I Nattravn fant den sjekken en konflikt mellom en fargeregel og en oppgave allerede før noe var bygget.
Parker småting. Kontrollen fant 18 mindre ting underveis. Ingen av dem fikk stoppe arbeidet. De ble logget og tatt senere. Uten det sporer en nattvakt av på detaljer.
Og git er sikkerhetsnettet. En gang ble en økt avbrutt midt i arbeidet og etterlot repoet i en ødelagt tilstand. Fordi alt var committet oppgave for oppgave, ble det gjenopprettet uten at noe arbeid gikk tapt.
Hva det faktisk ble
Fra 25. til 28. september fullførte Nattravn 26 oppgaver og 53 commits, med 20 egne kontrollrunder underveis.
Min rolle i loggene er ikke å skrive kode. Den er å godkjenne ved portene, velge mellom alternativer, og ta de avgjørelsene som er for dyre til at agenten skal ta dem alene. Det er en annen jobb enn å sitte ved siden av og se på. Og det er den jobben som gjør at resten kan gå uten meg.
Slik kommer du i gang
Du trenger ikke et stort prosjekt for å prøve. Du trenger fem ting på plass før du går:
En oppgave som er liten nok til at den kan kontrolleres alene.
En sjekk den kan kjøre selv, som en test, en build eller et skjermbilde å sammenligne med.
En kontrollør som ikke er den samme som gjorde jobben.
Tak på forsøk, penger, og hva den aldri får gjøre.
Lov til å stoppe. Skriv det inn i planen: heller blokkert enn feil.
Resten er disiplin. Og det er den samme disiplinen som alltid: strukturen først, teknologien etterpå.