KI kan ikke synstolke, men man kan synstolke med KI. I alle fall hvis filmene ikke er for lange.
Vi har utarbeidet en metode for bruk av KI til produksjon av synstolking, i forbindelse med prosjektet Intelligent synstolking.
Under utarbeidelsen testet vi flere verktøy som lover automatisk generering av synstolking. Flere tjenester proklamerer at det er bare å laste opp en film på nettsiden deres, og få fiks ferdig synstolking i retur på minutter. Det virker kanskje for enkelt til å være sant, og det er det.
Prosjektet Intelligent synstolking ble støttet
av Bufdirs tilskuddsprogram UnIKT.
I tillegg til KI-verktøy som skulle være utviklet for synstolking spesifikt, testet vi også utviklerverktøy som for eksempel Google AI Studio. I slike verktøy må man utarbeide en velegnet prompt for å få ønsket resultat. Fellesnevnerne for alle KI-verktøyenes problemer er som følger:
- De har en tendens til å ignorere filmreplikkene. For det første fører dette til at de lager for lange beskrivelser til å passe mellom replikkene. For det andre beskriver de ting som allerede er tilstrekkelig beskrevet i videoens originaltale.
- De har en tendens til å tolke bilde for bilde, og ser dem ikke i sammenheng. Dermed kan de omtale den samme mannen som «en mann» mange ganger.
- De mangler evne til å prioritere hva som er de viktigste visuelle hendelsene, og henger seg opp i irrelevante detaljer.
- Overbeskrivelsene medfører ofte at de lager pauser i filmene for å gi plass til alle formuleringene sine. Dette kaller vi «utvidet synstolking», og det er ikke ønskelig. Synstolking skal ikke forlenge filmene.
I tillegg egner KI-verktøyene seg kun til kortere filmer på for eksempel 10 minutter. De har et langt stykke å gå før de hjelper oss stort med langfilmer og TV-serier.
Fra «KI-generert» til «KI-prosess»
Forholdet mellom en synstolk og dens publikum er veldig tillitsbasert. Blinde publikummere vet ikke alltid hva de går glipp av ved dårlig synstolking, og tar man ikke synstolkingen på alvor fører man publikummet bak lyset. Derfor kan ikke synstolking overlates til KI med de evnene KI har i dag. Men det kan likevel være mulig å effektivisere produksjonen.
Googles Gemini 3.0 (eller nyere) er språkmodellen vi anser som den fremste til å gi oss et førsteutkast av beskrivelsene. Ved menneskelig utbedring av utkastet kan man komme raskere i mål med produksjonen.
Om man ikke ønsker eller har mulighet til å lese inn beskrivelsene selv, kan ElevenLabs levere godkjente talesynteser. Således kan en kombinasjon av KI-verktøy effektivisere produksjonen, men det fordrer at en kvalifisert synstolk står for kontrollen.
Universell Utforming AS
leverer synstolking og teksting for live-begivenheter og forhåndsinnspilt innhold tilpasset enhver plattform og setting. Les mer om våre synstolketjenester.
Effektivisering av synstolking
Konklusjonen vår om at KI-produsert synstolking må kontrolleres av kvalifiserte synstolkere, er neppe oppsiktsvekkende. Men prosjektet har også gitt oss nyttig innsikt i hva KI mangler av ferdigheter, og hvordan KI-baserte synstolkeverktøy bare gir oss halve leveransen. De tjenestene som lover oss KI-generert synstolking, lover også at KI-ens utkast kan redigeres og utbedres av mennesker. Men når verktøyene ikke har gode nok editorer til å gjøre disse utbedringene raskt og intuitivt, er vi tilbake til start. Flere av tjenestene mangler også gode nok filløsninger til at vi kan utbedre forslagene i våre egne synstolkeverktøy.
Dette er blant grunnene til at få KI-verktøy som er utviklet for synstolking er foreslått i vår metode. Den fokuserer mer på fleksible utviklerverktøy som Google AI Studio i kombinasjon med ElevenLabs. Men merk at man må benytte betalte løsninger for godt nok utbytte av disse.
Alle prosjektets resultater finnes på prosjektsidene. Dette inkluderer rapportene om eksperttestingen av KI-verktøy, brukernes tilbakemeldinger på KI-basert synstolking, og en statusundersøkelse med en rekke forkastede verktøy etter innledende tester.
