Transparens i beslut som fattas av en AI-tjänst

Att AI har potential att bidra med stora nyttor inom det offentliga är det ingen tvekan om, DIGG genomförde en utredning som pekade på en potential om upp emot 140 miljarder kronor årligen inom det offentliga. Samtidigt finns det stora risker för inlåsningseffekter och en minskad transparens till det offentliga när AI börjar användas, då de ledande AI-lösningarna i världen idag är som svarta lådor där det inte finns någon insyn i hur beslut fattas

Detta behöver samtidigt inte bli en sanning, det offentliga kan driva mot användning av en mer öppen AI-infrastruktur som både skapar både en möjlighet men även frihet att använda öppna AI-modeller men även skapa transparens i varje ”beslut” ett AI tar.

I detta inlägg presenterar vi en tanke om hur vi skulle kunna skapa transparens och insyn i varje beslut en AI-tjänst tar med stöd av språkmodeller (så kallad generativ AI).

Öppet dokumenterade beslut av AI

Varje gång en fråga ställs till ett AI eller den uppmanas att utföra ett moment så tar AI-modellen en form av ett beslut genom att tillhandahålla ett svar, den beslutar utifrån sina modeller och det underlag den delgivits vilken information som bör vara det bästa underlaget för att svara på frågan eller utföra uppgiften och den sammanställer underlaget till ett för människan enkelt och tydligt svar.

Här ser vi att vi bör kunna skapa full transparens i exakt vad som låg som underlag till den slutsats AI-tjänsten kom fram till. Vi ser att varje interaktion med AI-tjänsten också bör skapa ett datapaket i bakgrunden som loggas, detta paket ska beskriva exakt vilka förutsättningar som låg till grund för den slutsats som AI-tjänsten nådde.

Minimum ser vi att följande information bör finnas för varje svar/beslut;

• Frågan som ställdes/uppgiften som gavs AI-tjänsten
• Prompt som skickades med frågan
• Inställningar i AI-tjänsten (t ex inställning för temperatur)
• Embeddingmodell som användes för att transformera frågan/uppgiften till en vector
• Källan som modellen identifierade innehålla svaret
• Datamängden som modellen identifierade innehålla svaret
• Språkmodellen som användes för att översätta svaret
• Slutliga svaret/slutsatsen som språkmodellen översatte svaret till

Exempel på hur det skulle kunna se ut:

Följande är ett exempel på hur ett beslut som fattats av en AI-tjänst skulle kunna se ut när det exporterats, så att slutanvändaren får full insyn i vad som låg till grund för det beslut som AI-tjänsten gjorde vid exakt den tidpunkt som beslutet togs.

Varje svar publiceras i öppet format

För att skapa tillit till AI bör varje slutanvändare som interagerar med AI-tjänster inom det offentliga kunna ladda hem beslutsunderlaget i ett öppet format.

Här bör de plattformar som tillhandahåller AI-tjänster inom det offentliga ta fram och anamma en standard för dokumentation av svar/beslut, så att oavsett vilken kommun en invånare interagerar med, så ska man kunna förvänta sig samma nivå av öppenhet.

Kontakt

Har du tankar kring detta? Skicka gärna input till digitalisering@sundsvall.se.