Fra 2 500 til 30 000 på fire måneder
Dette er fjerde innlegg i en serie. Vi har skrevet om loopen, om stoppbetingelsen, og om nattvakten som lar loopen gå uten tilsyn. Dette innlegget handler om hva som skjer etterpå, når det virker.
I mai slo Anthropic sammen rundt 2 500 kodeendringer om dagen i hovedkodebasen sin. I september var tallet over 30 000. Det er tolv ganger så mye på fire måneder. Anthropic skriver selv at det var Claudes evne til å skrive kode som satte dem i den situasjonen.
Den 13. oktober forklarte de i en artikkel hva det gjorde med verktøyet alle utviklere bruker: Git holdt ikke lenger. De har bygget sitt eget system i stedet, kalt Scion.
Det er lett å lese det som en nyhet om versjonskontroll. Det er det ikke. Det er en nyhet om hva som går i stykker når produksjonen plutselig blir mye større.
Hva som faktisk gikk i stykker
Hver kodeendring må testes før den slippes ut. Det gjøres med automatiske jobber som bygger og tester koden, og hver jobb trenger sin egen kopi av koden for å komme i gang. Hos Anthropic blir det rundt 25 millioner slike kopier om dagen, bare til testing.
Med Git henter hver kopi også hele historikken. Hos Anthropic er historikken nesten 100 GB, og selv en komprimert kopi av bare de siste filene er over 25 GB. Hentet på den enkleste måten ville det blitt over 600 petabyte trafikk om dagen. Det tallet er et regnestykke, ikke noe som faktisk skjedde, men det viser hvor det bar.
Grunnen er at Git er laget for mennesker. Hver utvikler har hele historikken lokalt, slik at hun kan jobbe på et fly uten nett. Det er en god idé for en person. For en testmaskin eller en agent som alltid er på nett, er det bare dødvekt.
Anthropic prøvde å lappe på det. De hentet bare deler av historikken, bare deler av filene, og drev på det meste flere hundre speilservere. Det kjøpte tid. Men alle løsningene kopierte fortsatt koden ut til hver maskin, og ingen av dem holdt følge med veksten.
Hva de bygde i stedet
Scion snur forutsetningen. Det finnes én sentral kilde, og maskinene antas å alltid være koblet til den. I stedet for å hente alt, spør en maskin bare om det den trenger: først en oversikt over mappene, så bare mappene jobben faktisk bruker. Filer hentes når de leses.
Hver fil får en ID som er beregnet ut fra innholdet. Endres filen, får den en ny ID, og den gamle står urørt. Det betyr at en lagret kopi aldri kan bli utdatert. Derfor kan de mellomlagre i tre lag, på maskinen, regionalt og sentralt, og hvert lag svarer på over 99 prosent av forespørslene som når det.
Resultatet ifølge artikkelen: testjobbene henter koden omtrent hundre ganger raskere, på sekunder i stedet for minutter. Testingen bruker 25 prosent mindre prosessorkraft. Og infrastrukturen er 200 ganger mindre enn speiloppsettet de hadde før.
Sju personer bygde det på fem måneder, og Claude gjorde mye av arbeidet. Ifølge artikkelen var ingeniørenes viktigste jobb å vurdere designet og si nei til Claude.
Scion blir ikke åpen kildekode, og Anthropic skriver selv at det ikke egner seg som en generell erstatning for Git. Det er ikke verktøyet som er poenget.
Det egentlige poenget
Anthropics egen konklusjon er at det ikke lenger er det å skrive kode som begrenser dem. Det som begrenser dem, er alt rundt koden som ble bygget for menneskelig tempo.
Git var ikke et dårlig verktøy. Det var et godt verktøy for en verden der mennesker skrev koden. Det samme som gjorde det godt for mennesker, at hver person har alt lokalt og kan jobbe alene, var det som gjorde det dyrt da produksjonen ble tolv ganger større.
Det er verdt å stoppe opp ved, fordi det samme mønsteret dukker opp langt utenfor programvare.
Det samme skjer utenfor kode
Se for deg et regnskapsbyrå der AI begynner å lage utkast til kvalitetskontroller. Eller en avdeling der AI skriver førsteutkast til saksbehandling, avviksrapporter eller tilbud.
Det første som skjer, er at skrivingen går fortere. Det neste som skjer, er at noe annet stopper opp:
Godkjenningen, hvis hvert utkast fortsatt må leses og signeres av én bestemt person.
Kontrollen, hvis den forutsetter at et menneske går gjennom alt, i samme tempo som før.
Arkivet, hvis det bygger på at noen manuelt legger ting på riktig sted.
Tilgangsstyringen, hvis tilganger deles ut for hånd, én person om gangen.
Ingen av disse er dårlige rutiner. De er gode rutiner for en verden der mennesker gjorde jobben. Men de er bygget for menneskelig tempo, akkurat som Git var. Og når produksjonen ganges med ti, er det de som bestemmer hvor fort dere faktisk går.
Hva du kan gjøre med det
Du trenger ikke bygge ditt eget system. Du trenger å vite hvor dine egne rutiner forutsetter at et menneske gjør én ting om gangen.
Finn stegene. Gå gjennom en prosess dere vurderer å bruke AI på, og marker hvert sted der et menneske må gjøre noe før arbeidet går videre.
Gang med ti. Spør hva som skjer med hvert av de stegene hvis volumet blir ti ganger så stort. De som knekker, er de som avgjør om AI faktisk sparer dere tid.
Skill mellom det maskinen kan sjekke og det et menneske må vurdere. Mye av kontrollen kan gjøres automatisk hvis kriteriene er skrevet ned. Det var poenget i innlegget om stoppbetingelsen.
Behold mennesket der det er dyrt å ta feil. Anthropics ingeniører lot Claude gjøre mesteparten av arbeidet, men det var de som sa nei. Det er samme rolle som i nattvaktplanene: å godkjenne ved portene, ikke å gjøre alt selv.
Lærdommen fra Scion er ikke at Git er utdatert. Den er at når AI tar over produksjonen, er det strukturen rundt den som må bygges om. Strukturen først. Teknologien etterpå.