Højrisiko-AI er kunstig intelligens, som vurderes at kunne få alvorlige konsekvenser for mennesker og samfund, hvis den fejler eller bruges forkert. Det handler ikke nødvendigvis om, hvor avanceret teknologien er, men om hvad den bruges til, og hvilke følger dens beslutninger eller anbefalinger kan få. I EU bruges begrebet især om systemer, der kan påvirke sundhed, sikkerhed eller borgernes grundlæggende rettigheder.
Hvornår regnes AI som højrisiko?
Et AI-system kan blive klassificeret som højrisiko, hvis det indgår i produkter eller tjenester, hvor fejl kan få store konsekvenser. Det kan for eksempel være software i medicinsk udstyr, systemer til kreditvurdering, rekrutteringsværktøjer, adgangskontrol eller løsninger, der bruges i uddannelse, politiarbejde eller kritisk infrastruktur. Her kan AI være med til at træffe eller understøtte beslutninger, som har stor betydning for den enkelte.
Det afgørende er altså anvendelsen. En chatbot til kundeservice vil typisk ikke være højrisiko, mens et system, der sorterer jobansøgninger eller vurderer, hvem der kan få et lån, lettere kan være det. Et system kan også være højrisiko, hvis det fungerer som en sikkerhedskomponent i et produkt, der allerede er reguleret efter EU-regler.
Hvilke krav følger med?
Når AI klassificeres som højrisiko, følger der skærpede krav til dem, der udvikler og bruger systemet. Det kan omfatte dokumentation, risikovurdering, menneskeligt tilsyn, datakvalitet, sporbarhed og løbende overvågning. Formålet er at mindske fejl, diskrimination og uigennemsigtige beslutninger.
Et konkret eksempel er ansigtsgenkendelse eller automatiseret sagsbehandling, hvor forkerte vurderinger kan ramme borgeres rettigheder direkte. Derfor lægger reguleringen vægt på, at mennesker skal kunne forstå, kontrollere og i nogle tilfælde tilsidesætte AI-systemets output.
Derfor er begrebet vigtigt
Højrisiko-AI er centralt i den aktuelle debat om teknologi og regulering, fordi AI i stigende grad bruges på områder, der påvirker hverdagsliv, adgang til muligheder og tillid til myndigheder og virksomheder. Begrebet hjælper med at skelne mellem harmløse og samfundskritiske anvendelser, og det er afgørende for, hvordan EU og andre myndigheder forsøger at gøre AI både nyttig og ansvarlig.