Kan KI effektivisere testing av universell utforming?

Over 94 prosent av de mest besøkte nettstedene i verden oppfyller ikke grunnleggende krav til tilgjengelighet. Universell Utforming AS har gjennomført et forskningsprosjekt for å undersøke om kunstig intelligens kan hjelpe oss å endre på dette.

Tradisjonell tilgjengelighetstesting er tidkrevende. Den krever erfarne fagpersoner, skjermlesere og grundig gjennomgang av kode og brukeropplevelse. Men hva om KI kunne ta over deler av dette arbeidet?

Forskningsprosjektet «Effektiv UU-testing med KI» er finansiert med støtte fra programmet UnIKT (Bufdir) og med egeninnsats fra oss i Universell Utforming AS.

Det vi undersøkte

I prosjektet «Effektiv UU-testing med KI» startet vi med en bred kunnskapsinnsamling for å kartlegge hva som finnes av KI-baserte verktøy, og hva forskningen sier om potensialet. Vi testet deretter tre konkrete WCAG-kriterier som er kjent for å være særlig tidkrevende å avdekke manuelt:

• 4.1.2 Navn, rolle, verdi (Nivå A)
• 1.3.1 Informasjon og relasjoner (Nivå A)
• 1.3.2 Meningsfylt rekkefølge (Nivå A)

Vi testet tre tilnærminger mot hverandre: manuell testing utført av en erfaren fagperson, en egenutviklet løsning basert på ChatGPT API, og det kommersielle hybridverktøyet Axe DevTools med KI-funksjoner.

Hva vi fant?

KI viser potensial på noen områder. Når HTML-koden er ryddig og semantisk korrekt, er KI i stand til å identifisere strukturelle feil som noen ganger kan ta tid å finne manuelt. Et godt eksempel fra prosjektet var en tabell på SSBs nettsider der første kolonne burde vært markert som overskriftskolonne, en feil KI faktisk oppdaget, men som den manuelle testen ikke fanget opp.

Samtidig avdekket prosjektet tydelige begrensninger. KI sliter med nettsider der HTML-koden er generert gjennom publiseringsverktøy med sidebyggere, der skjulte elementer og unødvendig nøsting fører til falske positive funn. KI forstår heller ikke visuell kontekst på samme måte som et menneske, noe som betyr at feil knyttet til visuell struktur og rekkefølge fortsatt krever manuell vurdering. Et annet overraskende funn var at resultatene fra KI-verktøyene ikke alltid var stabile, samme nettside kunne gi ulike resultater fra gang til gang.

Et viktig funn var også at selve prompten, spørsmålet man stiller KI, er avgjørende for resultatet. Et enkelt spørsmål kunne fort utvikle seg til et detaljert regelsett med definisjoner og unntak.

Konklusjon

KI er foreløpig ikke klar til å erstatte manuell tilgjengelighetstesting, men kan være et nyttig supplement. Den største nytteverdien ligger ikke i selve feilsøkingen, men i hjelpen KI kan gi etter at man har funnet en feil manuelt, ved eksempelvis å foreslå konkrete løsninger på et avgrenset kodeeksempel. Verktøy som kombinerer regelbaserte kontroller, KI-analyse og støtte for manuell testing, ser ut til å ha størst potensial.

Prosjektet viser også noe som er like viktig: nettsteder bygges fortsatt med svak semantisk HTML-struktur, og det påvirker tilgjengeligheten direkte. Uavhengig av hva KI kan bidra med, er god kode grunnlaget for universell utforming.

En del av dette prosjektet var også å lage en ressurssamling. Vi håper på å kunne legge til mer i ressurssamlingen vår etterhvert. Tanken er at det skal bli en dynamisk ressurssamling som vi håper på å oppdatere og endre ettersom KI utvikler seg. Du finner ressurssamlingen på vår ressursside i filterkategorien KI-ressurser. Du kan også gå direkte til prosjektets ressursside: Testing av universell utforming med KI. Har du tilbakemeldinger på eller innspill til ressursen, tar vi gjerne i mot dette: [email protected]

Vil du lese mer om funnene, metodikken og testresultatene? Besøk prosjektsiden «Effektiv UU-testing med KI» for å se hele prosjektet.

Spørsmål og svar

1. Hva betyr «prompt» og hvorfor er det viktig? En prompt er spørsmålet eller instruksjonen man gir til KI. Kvaliteten på prompten er avgjørende for resultatet og som oftest kreves det flere itereringer for å få gode resultater.
2. Kan KI erstatte manuell tilgjengelighetstesting? Ikke foreløpig. KI fungerer best som et supplement til manuell testing. Den største nytteverdien er ikke i selve feilsøkingen, men i å hjelpe fagfolk med å finne løsninger etter at manuell test allerede har avdekket feil.
3. Hva er den største styrken til KI i tilgjengelighetstesting? KI er best når HTML-koden på nettsiden er ryddig og semantisk korrekt. Da kan den identifisere strukturelle feil raskt, og noen ganger finne feil som også kan ta tid å oppdage manuelt.
4. Hva var prosjektets mest overraskende funn? At KI ikke alltid ga samme svar når samme nettside ble analysert to ganger. Denne ustabiliteten gjør det vanskelig å stole på KI som en konsistent og pålitelig testmetode alene.
5. Hva er den viktigste lærdommen fra prosjektet? At mange nettsider rett og slett er dårlig bygget fra bunnen av, og at de fleste tilgjengelighetsproblemene starter der. KI feiler ikke på forståelsen av WCAG-kravene, men på forståelsen av den svake HTML-semantikken som brukes på mange nettsider. God kode er derfor grunnlaget for universell utforming, uavhengig av hva KI kan bidra med.

Denne artikkelen er skrevet av Eirik Michielsen