Forklarbar AI: Når kunstig intelligens skal svare for sine valg

En stigende mængde danske myndigheder, banker og offentlige institutioner integrerer kunstig intelligens i deres beslutningsprocesser – fra vurdering af omsorgssvigt til detektion af pengeafvasning. Men en kritisk stemme i debatten, Sine Zambach fra CBS, advarer: Når AI fungerer som en "black box", hvor output kommer uden forklaring, risikerer vi ikke bare juridiske brud, men også en systematisk forringelse af vores kollektive viden. I et holdningsindlæg på Version2 argumenterer hun, at brugen af ikke-forklarbare AI-modeller i højrisikosammenhænge er etisk problematisk – fordi de ikke gør os klogere, men dummere.

Det er ikke bare et akademisk spørgsmål. EU's AI Act, som træder i kraft i trin fra 2024 og frem, stiller krav om transparens og forklarbarhed i systemer, der påvirker menneskers liv og rettigheder. Danske ledere i offentlige og private organisationer står derfor over for en konkret udfordring: Hvis en kommunal sagsbehandler afviser en borger på baggrund af en AI-analyse, skal vedkommende kunne forklare hvorfor. Det samme gælder bankrådgivere, der vurderer kreditværdighed, eller HR-chefer, der bruger AI til rekruttering. Uden forklarbarhed risikerer beslutninger at blive juridisk uholdbare og etisk uansvarlige.

Black box eller gennemsigtig viden?

Zambach, der er assistant professor ved Department of Digitalization på CBS og ekspert i den statslige Digital Task Force for kunstig intelligens i den offentlige sektor, stiller et grundlæggende spørgsmål: Hvad er formålet med at bruge AI? Hvis det er at forudsige – for eksempel om en virksomhed går konkurs eller om et barn er i fare – så kan avancerede modeller som dybe neurale netværk være effektive. Men netop der, hvor AI erstatter ekspertvurderinger, mener Zambach, at vi må kræve forklarbarhed. "Jo færre mellemregninger vi får, jo dummere bliver vi som organisationer og samfund," skriver hun. En AI, der blot siger "ja" eller "nej" uden at vise sine ræsonnementer, fjerner viden i stedet for at skabe den.

Hun understreger, at det ikke handler om at afvise avanceret teknologi. I automatiske systemer som billedgenkendelse eller selvkørende biler kan black box-modeller være acceptable, fordi de ikke erstatter menneskelig vurdering i samme grad. Men når AI indgår i beslutninger med etiske og retlige konsekvenser – som i sundhedsvæsenet, socialsektoren eller finans – bliver forklarbarhed en forudsætning for ansvarlighed.

Hvem skal AI forklare sig over for?

En ofte overset kompleksitet er, at "forklarbarhed" ikke er én ting. Forskningen viser, at forskellige interessenter har vidt forskellige behov for forklaring. Julie Gerlings, PhD-forsker ved CBS, har i sin artikel "Explainable AI, but explainable to whom?" (2021) belyst, at en udvikler, en sagsbehandler, en borger og en dommer alle har forskellige forventninger til, hvad en "god forklaring" er. Artiklen, der er citeret 151 gange, peger på en afgørende misforståelse i mange AI-projekter: At antage, at tekniske forklaringsværktøjer som LIME eller Shapley-værdier automatisk skaber tillid og forståelse hos alle parter.

Gerlings argumenterer for, at forklarbarhed ikke bare er et teknisk problem, men et kontekstafhængigt designvalg. En vejleder i NAV har brug for en anden type forklaring end en programmør. Derfor er det afgørende at kartlægge interessentgrupper, deres kompetencer og de retslige krav, inden man udvikler en AI-løsning. I praksis betyder det, at NAV – som allerede bruger maskinlæring til beslutningsstøtte – ikke tager automatiske vedtak, men bruger AI som et redskab for menneskelige vejledere, der kan vurdere outputtet i lyset af kontekst og forklaring.

CAISA og det nationale AI-landskab

Det danske svar på behovet for etisk og forklarbar AI har fået institutional støtte gennem CAISA – Det Nationale Center for AI i Samfundet. Stiftet den 9. maj 2025 under ledelse af Rebecca Adler-Nissen fra Københavns Universitet, samler CAISA forskere fra KU, AAU, AU, ITU og DTU. Med en finansiering på 50 millioner kroner de første tre år arbejder centret med tværfaglige udfordringer i AI’s samfundsintegration – herunder netop spørgsmål om forklarbarhed, tillid og demokratisk kontrol.

CAISA samarbejder tæt med Pioneer Centre for AI (P1), der har modtaget 354 millioner kroner over 13 år fra fem private fonde: Danmarks Grundforskningsfond, Carlsberg, Lundbeck, Novo Nordisk og Villum. Dette samarbejde signalerer en national strategi, hvor grundforskning i AI kombineres med samfundsrelevante anvendelser. I april 2026 fik CAISA direkte indflydelse på politisk dagsorden, da Adler-Nissen og amerikanske Abraham Newman fra Georgetown University holdt seminar for politikere under regeringsforhandlingerne på Marienborg. Emnet: AI’s rolle i geopolitik, økonomi og demokrati. Det var et tydeligt signal om, at AI ikke kun er en teknologisk, men en central politisk og etisk udfordring.

Tekniske løsninger og deres grænser

Teknisk set findes der metoder til at gøre AI mere forklarbar. På et webseminar afholdt af den norske ingeniørforening Tekna den 14. maj 2020 blev metoder som LIME (Local Interpretable Model-agnostic Explanations) og Shapley-værdier præsenteret som modelagnostiske tilgange – altså metoder, der kan forklare output fra næsten enhver AI-model, uanset dens kompleksitet. Disse værktøjer tillader, at man kan se, hvilke inputfaktorer der har haft størst indflydelse på en given beslutning.

Men som både Zambach og Gerlings pointerer, er tekniske forklaringer ikke det samme som forståelse. En Shapley-værdi kan vise, at "indkomst" og "jobtype" var de to mest vægtede faktorer i en kreditvurdering, men det siger ikke noget om, hvorfor det er rimeligt, eller om der er diskrimination i data. Derfor understreger forskerne, at forklarbar AI ikke kan udvikles i et vakuum. Det kræver samarbejde mellem datavidenskab, juridik, etik og fagdomæner – fra socialrådgivning til finansiel compliance.