Testing av universell utforming med KI

I prosjektet testet vi ut tre WCAG-kriterier. Målet vårt er at denne ressursen etter hvert kommer til å ta for seg flere kriterier for å belyse hvor KI kan gjøre en forskjell. Tanken er at dette skal være en dynamisk veileder som skal hjelpe å finne effektive måter å teste tilgjengelighet på, for at det skal bli lettere å skape universelt utformede nettsteder.

KI kan brukes som støtte i tilgjengelighetstesting for å identifisere mulige WCAG-brudd og foreslå forbedringer i kode. Samtidig viser erfaringer fra praktisk testing at KI fortsatt ikke kan erstatte manuell testing. Det er spesielt tre utfordringer KI-verktøyene ofte har:

• Språkmodeller (LLM) tolker HTML-struktur uten å forstå helheten i brukeropplevelsen, og kan derfor rapportere feil som ikke påvirker tilgjengeligheten i praksis. Språkmodeller er begrenset fordi de gjennomgår tekst, og har ikke visuell støtte. Selv med CV (computer vision) kan man motta feil tilbakemelding.
• KI er svært avhengige av hvordan koden er strukturert, og gir mindre presise resultater når HTML er generert gjennom CMS (Content management system) og bruker sidebygger. Et eksempel på dette kan være Wordpress som CMS og Elementor som sidebygger.
• Resultatene kan variere mellom analyser av samme side, noe som kan føre til falske positive funn og redusert forutsigbarhet.

Dette betyr at KI-verktøy ikke alltid gir deg de riktige resultatene og må derfor ikke brukes som en fasit. KI bør alltid brukes sammen med automatiserte tester, hjelpemiddelteknologi og manuell vurdering. De egner seg best til å effektivisere enkelte deler av testprosessen, for eksempel ved rask gjennomgang av små HTML-utdrag, deretter som sparringspartner som kan foreslå forbedringer i kodeutdragene.

Analyse av HTML med språkmodeller (LLM)

Språkmodeller kan brukes til å analysere HTML-kode for å identifisere mulige brudd på WCAG-kriterier. Med gode ledetekster (prompts) kan modellen peke på manglende semantikk, feil bruk av ARIA-attributter og strukturelle problemer i koden.

Resultatene blir best når:

• HTML-koden er semantisk strukturert
• Ledeteksten (prompten) er tydelig og avgrenset til konkrete WCAG-kriterier
• funnene verifiseres manuelt

Det er viktig å være klar over at enkle Ledetekster (prompts) ofte må utvides med regler og unntak for å håndtere ulike kodevarianter. Dette kan redusere effektiviseringsgevinsten ved at man bruker mye tid på promptutvikling.

Axe devTools: Visuell analyse med Computer Vision

Axe DevTools: Enkelte KI-funksjoner kombinerer analyse av kode med visuell vurdering av brukergrensesnittet. Computer Vision kan bidra til å avdekke avvik mellom hvordan komponenter er implementert i HTML og hvordan de fremstår visuelt. Dette kan gi mer presise resultater enn analyse basert på HTML alene.

Slike funksjoner er særlig nyttige for:

• vurdering av visuelle relasjoner mellom elementer
• identifisering av inkonsistens mellom design og kode

Likevel er dette også enkelt å vurdere manuelt, da også visuelle analyser kan gi feilaktige vurderinger.

Kombinasjon av KI og automatiserte tester

Tradisjonelle automatiserte verktøy bør fortsatt være første steg i testprosessen. Disse gir stabile og repeterbare resultater for tekniske WCAG-krav. KI kan deretter brukes som et supplement for å analysere områder som automatiserte tester ikke dekker, for eksempel semantikk, relasjoner og meningsfull rekkefølge. Analysen burde gjøres ved å gi en språkmodell et utdrag av HTML’en som du mener bør analyseres.

Det er mange fremgangsmåter man kan bruke for å teste nettsider, og det finnes ikke en bestemt måte eller rekkefølge for testing, derfor har vi kun laget et eksempel på hvordan man kan gjøre det.

En hensiktsmessig arbeidsflyt kan være:

1. Kjør automatiserte tester for å finne tekniske feil fort, WAVE eller lighthouse er to automatiske verktøy som er enkle å bruke. Hvis sidene har lite innhold for eksempel en enkel landingsside kan man ta kildekoden og sende in til språkomodell (ChatGPT, Gemini, Claude ).
2. Verifiser funnene med manuell testing og hjelpemiddelteknologi. Med hjelpemiddelteknologi mener vi skjermlesere (NVDA, Jaws).
3. Bruk KI til å analysere HTML og foreslå forbedringer på utvalgte utdrag av HTML

Det er mulig å automatisere KI-basert tilgjengelighetstesting ved å koble språkmodeller til API-er som analyserer HTML ved å gå inn på en bestemt nettside via en URL. Dette kan effektivisere repetitiv testing, men forutsetter betydelig arbeid med ledetekstutvikling (promptutvikling) og justering, i tillegg kan hallusinasjoner oppstå. Vi vil derfor fraråde denne metoden for effektivisering.

KI verktøy som fungerer bra

Våre funn indikerer at testing med kunstig intelligens må kontrolleres med manuell testing. Dette er en liste over de verktøyene vi mener fungerer best.

1. Axe devTools (helautomatisk scanning av side med KI)
2. Axe devToold IGT (intelligent guided testing)
3. Claude (utdrag av kildekode)
4. Gemini (utdrag av kildekode)
5. ChatGPT 5 (utdrag av kildekode)

Axe devTools er nevnt to ganger i listen fordi vi anser funksjonene vi har testet ut som to ulike verktøy.

WCAG-kriterier som KI er god på

• 1.1.1 Ikke tekstlig innhold (Nivå A): KI er veldig god på å analysere bilder. Hvis man trenger en god beskrivelse av hva et bilde inneholder klarer KI som regel å gi gode alternative tekster.
• 3.1.2 Språk på deler av innhold (Nivå AA): Dette er som regel en enkel jobb for KI fordi det er markert i koden med språkkode (lang) for eksempel "<span lang="en">".
• 1.3.1 Informasjon og relasjoner (Nivå A): KI kan fort finne ut om det har blitt brukt riktige semantiske elementer i en liste, for eksempel <ul> med tilhørende <li> elementer. KI gir også gode tilbakemeldinger på mindre skjemaer hvis det er feil verdier på table-elementer som for eksempel tabelloverskrift for en kolonne med verdi "scope= row" istedenfor "scope= col".

KI alene kan ikke hjelpe deg

Hvis man utelukkende bruker KI uten å verifisere funnene manuelt ender man opp med et meget dårlig resultat. Det er stor sannsynlighet for at resultatet omfatter falske positiver og unødvendige WAI-ARIA koder.