OpenAI satte i august tempoet ned på arbejdet med sine kommende modeller. Selskabet oplyser, at foreløbige målinger tydede på, at modellen Astra kunne nærme sig tærsklen for kritiske cybersikkerhedskapaciteter i OpenAI's Preparedness Framework. Det førte til en to ugers pause i reinforcement learning på de nyeste modeller, der var tiltænkt lancering. Det største planlagte træningsforløb er fortsat sat på hold, mens mindre forsøg og evalueringer fortsætter.

Det er en usædvanlig konkret beskrivelse af et internt stopkriterium. OpenAI peger på tre værn: overvågning, alignment og sikkerhedsbegrænsninger omkring, hvad modeller kan få adgang til og påvirke. Selskabet vil senere offentliggøre en teknisk rapport. Indtil den foreligger, er vurderingen af Astras kapaciteter leverandørens egen. Pausen dokumenterer derfor en procesbeslutning, ikke at en bestemt cyberrisiko allerede er bevist uafhængigt.

For virksomheder er læringen mere jordnær end den futuristiske overskrift. Et system med agenter bør have aftalte niveauer, hvor mere kapacitet udløser stærkere test, smallere adgang eller et midlertidigt stop. Det kan være en agent, der pludselig kan skrive til produktionsdata, udføre kode eller kontakte eksterne systemer. Hvis sikkerhedsregler først diskuteres efter sådan en evne er taget i brug, kommer styringen for sent.

En anden af ugens forskningshistorier viser, hvorfor kapacitet og kontrol skal vurderes sammen. Anthropic beskriver laboratorietest af proteinbindere designet med Claude. I en kampagne mod 15 mål fandt de eksterne laboratorier Adaptyv Bio og Twist Bioscience bekræftede bindere mod 14. Anthropic rapporterer hitrater på 26,7 procent for Mythos Preview og 22,6 procent for Opus 4.8 i et samlet 48-timers forløb; i separate 24-timers forløb nåede Mythos Preview 35,1 procent.

Resultatet er interessant, fordi bedømmelsen fortsatte uden for skærmen: Proteinerne blev fremstillet og testet fysisk. Men afstanden fra en binder i et forsøg til et lægemiddel er stor. Anthropic skriver selv, at resultaterne skal karakteriseres mere omfattende, og at modellen ikke lykkedes med alle mål. Mod maltosebindende protein blev ingen af 90 designs bekræftet som bindere. Studiet er desuden publiceret af modelleverandøren, selv om laboratoriearbejdet blev udført eksternt.

Generalists GEN-1.5 flytter den samme diskussion til robotter. Virksomheden beskriver en multimodal model, der kan lære korte fysiske opgaver fra en demonstration på 3–12 sekunder uden yderligere træning. På ti opgaver rapporterer Generalist en gennemsnitlig succesrate på 59 procent med én demonstration. Efter ti gradienttrin på fem minutters data pr. opgave steg det rapporterede gennemsnit til 83 procent.

Tallene skal læses med de begrænsninger, Generalist selv angiver: opgaverne var simple og kortvarige, succesraterne var moderate, og resultaterne kommer fra virksomheden bag modellen. Det centrale er derfor ikke, at robotter nu kan lære alt ved at se én bevægelse. Det er, at sensoriske demonstrationer kan fungere som en form for fysisk prompt og reducere mængden af specialtræning for afgrænsede opgaver.

De tre historier har en fælles redaktionel kerne. En model kan måles på, hvad den producerer, men en ansvarlig implementering må også definere, hvad der sker, når kapaciteten overstiger den eksisterende kontrol. OpenAI valgte en pause, Anthropic sendte design videre til laboratoriet, og Generalist oplyste både succesrater og opgavernes begrænsninger. Den slags mellemstationer er mere informative end en enkelt demonstrationsvideo eller benchmarkplacering.

Kontekst: Når modeller får adgang til kode, laboratorieværktøjer eller robotter, bliver validering en del af selve produktet. Fysiske tests, uafhængige evalueringer og foruddefinerede stopkriterier er nødvendige, fordi et overbevisende digitalt output ikke er det samme som et sikkert eller reproducerbart resultat.