Blind AI i sundhedsvæsenet kan skabe usynlig forskelsbehandling

En ny dansk undersøgelse fra Københavns Universitet, Rigshospitalet og DTU viser, at kunstig intelligens til risikovurdering af depression kan være op til 15 procentpoint mere præcis for nogle befolkningsgrupper end for andre. Forskerne advarer om, at blind implementering af sådanne algoritmer i sundhedsvæsenet kan føre til usynlig forskelsbehandling, hvor bestemte grupper systematisk fravælges til behandling – uden at nogen opdager det.

Undersøgelsen, der blev offentliggjort den 26. oktober 2023, er den hidtil mest omfattende danske analyse af bias i AI-modeller til psykiatrisk risikovurdering. Den bygger på historiske data fra 6 millioner danskere, hvoraf cirka 200.000 havde en depressionsdiagnose. Forskerne satte sig for at teste, hvordan en tilsyneladende neutral algoritme kan ramme forskellige dele af befolkningen forskelligt, og de leverer nu konkrete tal på skævheden.

Resultatet rammer direkte ind i den danske sundhedsdebat. AI bruges allerede på danske sygehuse til blandt andet kræftdiagnoser og akutbehandling, og sundhedsminister Sophie Løhde udtalte den 14. august 2023 sin støtte til yderligere implementering af kunstig intelligens i sundhedsvæsenet. Men undersøgelsen peger på, at teknologien ikke er neutral, og at den uden kritisk evaluering risikerer at forstærke eksisterende uligheder. For ledere, specialister og iværksættere i sundhedssektoren er det afgørende at forstå, at EU’s kommende AI-lovgivning – der træder i kraft senere i 2026 – stiller skærpede krav til dokumentation og menneskelig kontrol.

Forskerne simulerede desuden et scenarie, hvor en startup tilbyder danske kommuner AI-baserede risikovurderinger af depression. Netop denne type løsninger kunne tænkes at blive brugt til at prioritere, hvem der skal have adgang til behandling – for eksempel i psykiatrien, hvor ressourcerne er pressede, og hvor ventelisterne kan være lange. I USA bruger private forsikringsselskaber allerede lignende algoritmer til at prioritere behandling, og forskerne ser en risiko for, at samme logik kan snige sig ind i det danske system.

Baggrund og metode: Simuleret startup-scenarie

Studiet er udført af forskere fra Københavns Universitet, Rigshospitalet og DTU med støtte fra Danmarks Frie Forskningsfond. Lektor Melanie Ganz fra Datalogisk Institut på KU og forsker ved Rigshospitalet har ledet arbejdet, mens lektor Sune Holm fra Institut for Fødevare- og Ressourcevidenskab på KU og Aasa Feragen fra DTU har bidraget som henholdsvis medforfatter og samarbejdspartner.

Forskerne trænede en algoritme på historiske data fra 6 millioner danskere, hvoraf cirka 200.000 havde en depressionsdiagnose. Formålet var at simulere et realistisk scenarie, hvor en startup tilbyder danske kommuner AI-baserede risikovurderinger af depression. Ved at bruge danske registerdata har forskerne kunnet efterprøve, hvordan algoritmen ville fungere i praksis, hvis den blev rullet ud i en kommune. Det giver et konkret billede af, hvilke konsekvenser en ukritisk implementering kan få for borgerne.

Valget af psykiatri som case er ikke tilfældigt. Området er præget af kapacitetsudfordringer og lange ventetider, og der er et stigende pres for at bruge data og automatisering til at fordele ressourcer. Samtidig er depressionsdiagnoser udbredt i befolkningen, hvilket gør det muligt at træne og teste algoritmer på et stort datagrundlag. Netop derfor er det vigtigt at forstå, hvordan sådanne værktøjer opfører sig på tværs af forskellige befolkningsgrupper, før de tages i brug.

Tal og detaljer: 15 procentpoints forskel i nøjagtighed