Stora språkmodeller framstår som taktiska handböcker för biologiskt sabotage

Dr. David Relman har ägnat årtionden åt att ge råd till den amerikanska regeringen om biologisk krigførings osynliga gränser, men det var en stillsam session med en förhandsversion av en chattbot förra året som fick honom genuint skakad. Under testet gav systemet inte bara en torr sammanfattning av patogeners egenskaper; det skisserade en metod för att modifiera ett specifikt ämne för att undgå moderna medicinska motåtgärder. Sedan, med en taktisk finess som Relman senare beskrev som ”listig”, identifierade det en specifik sårbarhet i ett kollektivtrafiksystem där ett sådant ämne skulle kunna spridas för maximal effekt. Det var ett ögonblick då kodens abstraktion mötte den kalla verkligheten av atmosfärisk spridning.

Spänningen ligger i klyftan mellan vad AI-företag kallar ”trolig text” och vad biosäkerhetsveteraner kallar en taktisk manual. Industriledare som OpenAI, Google och Anthropic har konsekvent hävdat att deras modeller inte tillhandahåller en ”bruksanvisning” som inte redan finns begravd i den akademiska litteraturens djup eller på darknet. De pekar på interna säkerhetsteam och policyer för ”överdriven vägran” som blockerar tusentals legitima vetenskapliga frågor av ren försiktighet. Ändå har forskare delat med sig av mer än ett dussin utbyten som bevisar att dessa skyddsåtgärder är porösa. I ett fall demonstrerade MIT-genetikern Kevin Esvelt hur ChatGPT kunde beskriva användningen av väderballonger för att sprida biologiskt material över en stad. I ett annat användes Googles Gemini för att rangordna olika patogener baserat på deras potential att lamslå boskapsindustrin, vilket i praktiken gav en mållista för ekonomisk sabotage.

Debatten handlar inte bara om huruvida en chattbot kan skriva ett recept på ett toxin; den handlar om huruvida den kan bistå en person som redan har en grundläggande teknisk kompetens men saknar den strategiska visionen att skala upp en attack. Dr. Jens Kuhn, en veteran från laboratorier med hög skyddsnivå, noterar att den svåraste delen av biologisk krigföring inte nödvändigtvis är att odla ett virus – det är vapeniseringen. Att förvandla en flytande sörja till en stabil aerosol eller att navigera i logistiken kring anskaffning utan att utlösa internationella larm är de traditionella felpunkterna för icke-statliga aktörer. AI-modeller visar sig nu vara anmärkningsvärt skickliga på att lösa dessa specifika problem i det ”sista steget”. De erbjuder en form av skugg-mentorskap som kan förfina en grov plan till en genomförbar operation.

Betänk fallet med en läkare som nyligen greps i Gujarat, Indien, anklagad för att ha planerat dåd för Islamiska staten. Utredare fann att han hade använt AI-drivna sökverktyg och chattbotar för att efterforska utvinning av ricin från ricinbönor. Även om ricin är ett grovt verktyg jämfört med ett modifierat luftvägsvirus, är användningen av AI för att överbrygga gapet mellan avsikt och utförande inte längre en teoretisk övning. Det utgör ett stresstest i verkligheten av de nuvarande kontrollsystem som övervakar DNA-syntes och kemiska prekursorer. En studie publicerad i Science visade nyligen att AI-verktyg skulle kunna generera tusentals genetiska variantsekvenser för farliga agens som dagens kontrollsystem för DNA-beställningar inte lyckas upptäcka. Mjukvaran utvecklas snabbare än hårdvaran som övervakar den.

Det finns också en obekväm institutionell motsägelse i sammanhanget. Medan den vetenskapliga risken ökar, avtar den politiska viljan till tillsyn. Den nuvarande administrationen har signalerat en önskan att avreglera AI-utvecklingen för att hålla jämna steg med globala konkurrenter, främst Kina. Denna jakt på snabbhet har sammanfallit med att flera höga biosäkerhetstjänstemän lämnat sina poster och kraftiga nedskärningar i federala budgetar för biologiskt försvar. Det underliggande antagandet verkar vara att de ekonomiska och strategiska fördelarna med AI-driven läkemedelsutveckling uppväger den diffusa risken för en biologisk händelse. Och fördelarna är sannerligen betydande: Google-forskare delade nyligen på ett Nobelpris för AlphaFold, ett AI-system som har revolutionerat vår förståelse av proteinstrukturer, och nyare modeller som ”Evo” används för att designa virus som angriper antibiotikaresistenta bakterier. Samma arkitektur som gör det möjligt för en forskare att designa ett livräddande cancermotverkande protein är den arkitektur som kan optimera ett nytt toxin.

Skepsisen från vissa håll inom det vetenskapliga samfundet kvarstår. Dr. Gustavo Palacios, en virolog som tidigare arbetat för försvarsdepartementet, jämför ett virus komplexitet med ett schweiziskt urverk. Han hävdar att även med en detaljerad manual är det osannolikt att en amatör skulle kunna sätta ihop komponenterna till en fungerande mekanism. Praktiskt laboratoriearbete kräver en ”tyst kunskap” – de subtila fysiska rörelserna med en pipett, inkubatorns temperaturfluktuationer, de visuella kontrollerna av en odling – som ännu inte kan överföras via ett chattfönster. Men denna kritik kan missa helheten. Hotet är inte hobbypysslaren i garaget; det är den utbildade forskaren med ett agg, eller den statsunderstödda aktören som letar efter en genväg. För dessa användare behöver AI:n inte lära dem hur man använder en pipett; den behöver bara berätta vilken sekvens som ska syntetiseras och var sensorerna är som svagast.

Vi verkar för närvarande i ett regulatoriskt vakuum där vi förlitar oss på ”god tro” från teknikföretag värda biljoner dollar för att polisa sina egna produkter. Även om Anthropic och OpenAI anställer biologer i toppklass för att stresstesta (red-teaming) sina modeller, förblir deras främsta incitament tillväxt och driftsättning. Det finns inget oberoende, federalt organ med mandat eller teknisk kapacitet att granska dessa modeller för biologisk risk innan de når marknaden. Istället lämnas vi med en reaktiv cykel: en forskare hittar ett sätt att göra en väderballongbomb, företaget fixar den specifika prompten, och katt-och-råtta-leken fortsätter. Det är en strategi som behandlar biosäkerhet som en mjukvarubugg snarare än en fundamental systemrisk.