Agerbos side

Foreningen af kommunale it-chefer har udgivet en artikel 'Københavns Kommune vil bruge kunstig intelligens i kontrollen med offentlige ydelser'

To kontorchefer udtaler sig. Den ene taler om teknikken, og den anden taler om borgerne.

Om lotto og fisk.
Selv om Jacob Honore er kontorchef i Kompetencecenteret, er jeg i tvivl om hvor kompetent han er.

Når vi snakker Machine Learning, så er det nærmere som en lottokupon. Det er ret svært at forudsige udfaldet.

Ændrer du datasættet, skal du ændre algoritmen. Så hvis du spørger hvor lang tid det tager at nå frem til et resultat, er mit svar: Lige så lang tid som det tager at fange en fisk
Det er rigtigt, at beregningerne i et nyt system er usikre og tilfældige i starten. Der bliver først indlæst mange sager i computeren, og med dem er de afgørelser, som sagsbehandlere har foretaget. Derefter testes maskinen på andre sager, som er afgjort, men hvor afgørelserne er skjult for maskinen, og beregningerne i maskinen skal nu helst ikke ramme helt ved siden af. Måske mener udviklerne, at computeren rammer nogenlunde i 20% af tilfældene. Så bliver der foretaget små justeringer i matematikken i systemet, mange justeringer, indtil maskinen rammer nogenlunde i måske 80 % af tilfældene, som Jacob Honore også beskriver det.

Han nævner dog ikke, at selv når maskinen giver et resultat, som udviklerne synes de kan godtage, vil resultatet altid være angivet i procent sandsynlighed, fx at en borger i en sag med 60% sandsynlighed er social bedrager. Udviklerne bliver nu nødt til at sætte en grænse, måske ved 70%, så sager under denne grænse ikke skal regnes i kategorien bedrageri.

Med hensyn til fisk er det rigtigt, at det er meget bekosteligt og omstændeligt at udvikle et kunstigt program. De gentagne justeringer tager lang tid. Man skal kaste snøren ud mange gange og se om det giver resultat. Det sker (måske jævnligt), at udviklerne må gå hjem uden fisk og starte helt på en frisk næste dag med at finde andre og flere data og sætte en anden matematik ind i maskinrummet. Udviklere er selvfølgelig ikke helt åbne om, hvor lang tid de må eksperimentere for at deres system opfører sig nogenlunde. Men de har dog ikke kunne skjule, at der er systemer, som de helt måtte opgive. Det gælder også hos de største techgiganter.

Selvom programmets performance bliver godtaget, er det nødvendigt, som kontorchefen siger, igen at foretage justeringer, når systemet er taget i brug i den virkelige verden, hvor meget kan ændre sig løbende, så de oprindelige og fortidige data ikke mere svarer til virkeligheden. Også disse justeringer er omstændelige og tålmodighedskrævende, som at stå og vente på, at en fisk kommer på krogen.

Formålet med det nye system.

Men nu kommer machine learning og kunstig intelligens ind i kampen mod socialt bedrageri.
Som i mange andre byer både i Europa og Amerika er formålet som i Københavns kommune, at kunstig intelligens skal bruges til at bekæmpe socialt bedrageri. Er det udtryk, som står i artiklen, 'kampen mod socialt bedrageri' lidt på kanten, som om nogle af borgerne i kommunen er fjender, som kommunens kontrolgruppe skal bekæmpe? Opfatter kommunen sine borgere som potentielle bedragere, der skal bekæmpes?

Måske er det at lægge for meget i udtrykket.

Besparelser, effektivitet og objektivitet.
Men sikkert er det at kommunen vil kontrol, besparelser, effektivitet, automatisering og objektivitet og ved siden nævnes meget prisværdigt og lidt tvivlsomt også hjælp til borgere, så de får de rigtige udbetalinger.

Jeg har læst om mange algoritmer i det offentlige, i Australien 'Robodept', i Canada 'SAMS', i USA 'MIDAS', i Holland 'Syri' og systemer i en del byer i UK. Bortset fra at disse systemer ikke duede og blev standset bl.a. ved dommerkendelser, så husker jeg ikke, at det blev hævdet, at disse systemer også kunne hjælpe borgere til at få den rigtige udbetaling. Jeg er i tvivl om et system, der er udviklet til at opdage bedrageri er i stand til det. Systemet deler sager i snyd eller ikke snyd. Systemet kan ikke samtidig bedømme de sager, hvor der ikke er snyd, og vurdere om betalingen i disse sager er efter loven. Et system, som er udviklet mod borgerne, kan ikke samtidig have det formål at kontrollere kommunen. Mon ikke kontorchef i kontrolenheden Peter Heiberg her tager munden for fuld for at retfærdiggøre planerne for det nye system.

Det gør han også, når han taler om effektivitet. Hvis han mener, at mange sager kan behandles meget hurtigt og let ved hjælp af et kunstigt system, så har han selvfølgelig ret, men glemmer, at det netop er faren ved et sådant system. Udbetaling Danmark må have fået røde ører, da deres system automatisk og på ingen tid sendte forkerte beløb til hundredetusinde af borgere. Det skete i 2013 (300.000 pensionister blev berørt), 2015 (325.000 personer berørt) og 2019 (111.000 personer) og måske andre gange, som ikke er blevet omtalt i offentligheden. (se AlgorithmWatch )

Med hensyn til besparelser: mange byer i UK har opgivet systemerne, fordi de ikke levede op til forventningerne. Disse byer står så tilbage med enorme udgifter, de millioner som de har betalt til AI firmaer. I Danmark har corona appen (indtil nu) kostet 32 millioner. Det mere indviklede system, som Københavns kommune er ved at sætte i søen, vil sandsynligvis koste mere. Skulle det overvejes om det er pengene værd?

Algoritmen gør det mere objektivt,
siger kontorchefen om sagsbehandlingen.

Her tager han ikke kun munden for fuld, nej det her er en varm kartoffel han ikke kan gabe over. Det er en almindelig udtalelse fra fortalere og sælgere af kunstig intelligens, at den er mere korrekt og objektiv end mennesker kan være. Men de samme fortalere for AI erkender og indrømmer, at kunstig teknologi har et problem, som kaldes bias. Det beskrives sådan: sagsbehandlere kan have haft fordomme fx mod indvandrere, og det har præget deres afgørelser førhen, og det er disse data, som bliver indlæst og påvirker en algoritme, som den ikke kun gentager, men forstørrer fordommene og forskelsbehandlingen. AI fortalerne siger så, at disse bias i systemet bare skal fjernes.

Det er dog lettere sagt end gjort.

Algoritmen gør det mere objektivt
Det er ikke kun en subjektiv udtalelse, den nærmere sig bedrag. De fleste videnskabelige undersøgelser af kunstige systemer siger, at disse systemer langt fra er fejlfri. Og problemet er ikke kun i data. Også opbygningen af algoritmen medfører fejl.

Jeg kunne anbefale de to kontorchefer ikke kun at lytte til AI sælgere, men fx at læse den australske rapport 'Using artificial intelligence to make decisions: Addressing the problem of algorithmic bias' fra 2020 udarbejdet af Australian Human Rights Commision. Den nævner ganske vist ikke lotto og fisk, men også kontorchefer kunne lære meget af den. se her flere citater fra artiklen

Automatisering.
Ordet 'automatisk' forekommer flere steder i artiklen: automatiseret kontrol med udbetalingerne, automatiseret flow og automatisk prioritering af sagerne.
Men da GDPR og al sund fornuft taler mod fuldt automatiserede systemer, ved kontorchefen (den ene eller den anden), at han skal tilføje:

Det vil altid være en sagsbehandler, der træffer den endelige afgørelse.
Lad os se på det. Hvordan bliver en arbejdsgang for sagsbehandleren?

Der henvises til et system, som kommunen har i brug, KOMBITs 'Serviceplatformen', som tilvejebringer et oversigtsbillede med de data, som er indhentet om den enkelte sag, dvs. data vises for sagsbehandleren. Men det nye system skal vise sagerne i prioriteret orden, så sagsbehandleren bedømmer de problematiske sager.

Herudover fremstilles datagrundlaget i et 'forklaringsark', hvor de data, der ligger til grund for algoritmens vurdering fremgår
Jeg ved, at forskere arbejder ihærdigt på, at AI systemer bliver forklarlige. Det er ikke lykkedes endnu. Da kommunens nye system anvender machine learning, tvivler jeg meget på, at systemet kan vise 'forklaringsark'. Mon det er ønsketænkning. Af tekniske grunde vil et AI system aldrig fyldestgørende kunne forklare sine forslag, da et kunstigt system lægger vægt på utrolig mange forskellige, store og små, forhold i sagen. Også nogle, som vi mener er uden betydning, har påvirket beregningen.

Det er algoritmen, der finder sagerne, og sagsbehandlerne går de sager igennem, som algoritmen har identificeret.
Det tyder på, at sagsbehandlerne ikke ser på de sager, som algoritmen mener er uproblematiske, dvs. hvor der klart er indblandet snyd, eller hvor det er klart, at der ikke er snyd. Vil sagsbehandlerne også vurdere disse nemme sager, så der altid er et menneske, som er ansvarlig og har foretaget afgørelsen? Det er det store spørgsmål.

Lige så vigtigt er, at en maskine altid vil begå fejl, som kontorchefen selv siger: maskinen rammer rigtigt i 80% af sagerne, dvs. der må være fejl i de resterende.
Hvis maskinen mener om et antal borgere, at der fx er 77 % chance for at de klart er bedragere, vil der være 20 % af dem, hvor maskinen tager fejl. Hvis maskinen viser en prioriteret liste over sager, og sagsbehandleren stoler på systemet og ikke undersøger alle de sager, som maskinen kategoriserer som bedragerisager, vil 20 % uskyldige blive fejlbehandlet.

Desuden hvis sager om udbetaling kræver et skøn af den enkelte persons situation, og da en maskine kun kan håndtere håndfaste regler, vil der være endnu flere fejl i sagsbehandlingen. Kontorchefen mener, at algoritmen gør sagsbehandlingen mere objektivt. Det må omvendt betyde, at han mener, at sagsbehandlere er subjektive, fordi de foretager skøn i sager. At kalde skøn for subjektivt er en undervurdering af sagsbehandlernes faglighed. Et studie foretaget af danske forskere 'The Role of Discretion in the Age of Automation ' argumenterer overbevisende for, at sagsbehandleres vurdering eller skøn i en sag ikke må undervurderes eller snarere er nødvendig for at der træffes den rigtige beslutning. Studiet viser også, at afgørelser altid træffes i samråd med kolleger, så afgørelserne tager alle vigtige forhold i betragtning i den enkelte sag og er ensartede. Her kun ét citat fra studiet (min oversættelse): Automatisering kan fjerne eller ekskludere vigtige menneskelige værdier og nødvendige improvisationer, der afhænger af, at sagen forstås ved, at borgeren fortæller om sin situation, og ved at sagsbehandleren fortæller om sagen til sine kolleger ( 'a narratively intelligible communication between people). Denne fortællende forståelse af en sag eller situation kan ikke reduceres til software. se her flere citater fra artiklen

Danske kommuner og den danske stat er begejstret for digitalisering og automatisering, ligesom kontorchefen (den ene og den anden).

Det lyder hult, når kontorchefen frejdigt udtaler, at 'vi er her for borgernes skyld og løsningen er for borgernes skyld. ' Glemmer han den enkelte borger? En maskine, som foretager beregninger ud fra statistik og matematik kan måske sige noget rigtigt om grupper af personer. Men også her kan maskinen tage fejl og finde falske sammenhænge eller mønstre til at klassificere grupper af individer. Og hvad værre er, maskine kan ikke siger noget om den enkelte person, som jo på mange måder kan adskille sig fra en gruppe og endda være mønsterbryder.

Et eksempel: statistikken viser klart, at gruppen af rygere får flere sygdomme og dør tidligere. Men statistikken kan ikke sige, at det gælder mig som enkeltperson. Jeg kan sagtens være én af de rygere, som lever lykkeligt og længe. Jeg har i 50 år røget pibe, og lægen fortalte ved sidste årstjek, at jeg ikke fejler det mindste.

En maskine kunne fx finde det mønster, at lavtlønnede og socialt udsatte oftere snyder, og derfor for enhver lavtlønnet bedømte risikoen for socialt bedrageri som høj. Men vi ved, at der er lavtlønnede, som er ærlige og retskafne enkeltpersoner, som falder uden for gruppen, og som algoritmen tager fejl af.

I begejstringen for automatisering skulle de danske myndigheder overveje, om det er et farligt menneskeeksperiment, som de har gang i, og at det kan ende meget galt: borgerne mister tilliden til myndighederne, når afgørelser for tit er maskinelle og umenneskelige og overser vigtige forhold i den enkelte sag.
Enkeltpersoner både i Europa, Amerika, Canada og Australien har fået medhold hos domstole, fordi afgørelsen i deres sag var uretfærdig og fejlagtig, og systemerne i disse lande blev dømt ulovlige og måtte skrottes. Skal det være vores forhold til myndighederne, at vi skal føre retssager for at få en rimelig og retfærdig behandling?

Socialrådgivernes faglighed
Det lyder også hult, når det til sidst i artiklen fra " Foreningen af kommunale it-chefer" står, at

Kunstig intelligens skal være en støtte til fagligheden.
Mange videnskabelige studier viser at, automatisering reducerer eller fratager sagsbehandlere deres faglighed. De reduceres til kontorfolk, som indtaster data, som maskinen skal bruge i sine beregninger. Et andet studie fra danske forskere 'Shifting Concepts of Value. Designing Algorithmic Decision-Support Systems for Public Services' skriver, at værdien af algoritmer til beslutningsstøtte er omdiskuteret og bestridt. Og at faren ved brugen af dem er, at de ændrer sagsbehandleres opgave og rolle, endda at:

der er fare for at algoritmiske kompetencer og agenter fuldstændig rekonfigurerer sagsbehandling.
Det er svært at forudsige alle de skader, som algoritmer kan afstedkomme.
se her flere citater fra artiklen

Desuden er der et andet problem ved automatisering. Når sagsbehandlere bliver til kontorfolk og skal indtaste data til maskinen, dvs. vælge hvilke kategorier som en borger skal rubriceres i, vil der være borgere, som falder mellem kategorierne.
Dels gør det, at data ikke er neutrale og dækkende ( og objektive!). Dels medfører det, når kontorfolkene har vænnet sig til systemet og set de afgørelser (forslag), som maskinen kommer med på grundlag af kategorivalgene, at kontorfolkene vil være tilbøjelige til at manipulere med systemet og vælge kategorier og data, som vil fører til resultater, som sagsbehandlerne mener er retfærdige.

Jo, måske får sagsbehandlerne i sidste ende mere brug for deres faglighed, fordi de skal rette alle de fejl, som det automatiske system klart har begået, og som er så tidskrævende, at alle drømme besparelserne forsvinder.

Lovligheden af systemet.
Kontorchefen siger:

Vi er meget optaget af at overholde GDPR-lovgivningen.
Jamen, det er ikke nok at overholde GDPR.
Et hollandsk system, der ligner det planlagte danske, (Syri), blev i en retssag dømt som stridende mod menneskerettighederne og blev standset.

Desuden taler kontorchefen om, at det nye system skal 'identificere' borgerne:

Har vi en god datakvalitet, rammer vi også mere præcist med at identificere borgerne.
Mon han med vilje ikke bruger ordet 'profilering', for det er hvad han har gang i. Og jeg har læst, at EU kommissionen anser profilering for ulovlig. Kontorchefen gør alt for at forskønne kommunens planer og prøver at skjule, at der er risiko for, at en domstol dømmer systemet ulovligt.

I årtier har det danske samfund på alle områder i det offentlige været præget af eller styret af regneark. Så vidt jeg har forstået, er der i disse år ved at ske en opblødning, så tallene lægges til side. Eller det gør de så ikke. Myndighederne vil i stedet indføre et endnu mere umenneskeligt talregime, hvor beregninger ikke udføres af menneskelige administratorer, men af umenneskelige, automatiske maskiner.

Hvem har egentlig kontrol over kommunens kontrolgruppe? Ikke borgerne. Kommunens planer er udemokratiske.