Infrastruktur för AI inom kommuner

Arbetet genomfört, nu skalar vi upp lösningen

Arbetet som beskrivs nedan har varit lyckosamt vilket innebär att vi nu påbörjat att skala upp lösningen, läs mer om det arbetet via detta inlägg. Vill du följa vad som händer generellt inom AI i Sundsvalls kommun kan du gå in på utveckling.sundsvall.se/AI.

Problemet - De största tjänsterna brister i öppenhet

Det är ingen tvekan om att tjänster som ChatGPT öppnar helt nya fönster mot framtiden, men samtidigt finns det ett grundläggande problem med dess underliggande teknik och det är bristen på öppenhet. ChatGPT är inte eller kommer aldrig vara ett alternativ för en breddanvändning inom det offentliga med dess brist på transparens i modellen och krav på att användas via amerikanskägda molntjänster.

Idag är det tyvärr vanligt att de främsta modellerna och tjänsterna i grunden är som svarta lådor, där vi inte riktigt kan få en transparens i vad som hände. Vilket naturligtvis gör det problematiskt att använda i offentliga tjänster och processer, där öppenhet är en grundläggande princip.

Dessa lösningsmönster exkluderar även helt användningen av AI för mer känsliga datamängder, datamängder som vi kräver skall hanteras inom Sveriges gränser och kanske t om helt i egen datahall.

Kan vi bygga en öppan AI-infrastruktur?

Vi tror att tekniken är redo för att realisera en AI infrastruktur som ger oss möjligheten att använda språkmodeller som en förmåga i våra digitala processer och tjänster, på ett sätt som faktiskt främjar öppenhet och transparens. Men då kan vi inte stirra oss blinda på enskilda tjänster utan behöver tänka arkitektur och infrastruktur som möjliggör att vi kan byta ut modeller över tid, kanske t om köra flera modeller samtidigt i olika processer men genom samma API?

Därför startar vi nu ett utforskande arbete där vi kommer att se över hur en digital infrastruktur för AI behöver se ut för en kommun, i syfte att;

• Kunna använda olika språkmodeller över tid, så att vi alltid kan dra nytta av den löpande teknikutvecklingen inom området
• Möjliggöra användningen av öppna modeller och konfiguration som tillåter hantering av data med personuppgifter och sekretess
  
• Skapa kunskap om det finns öppna språkmodeller som redan idag kan användas och ge nytta i verksamhet med full transparens i modellen
• Skapa möjlighet att dra nytta av AI även inom mindre kommuner

Vår hypotes som ska testas – En skalbar digital infrastruktur för AI

Den hypotes vi ska testa är att kommunen och näringslivet tillsammans kan utveckla en infrastruktur för AI som är skalbar ur flera perspektiv;

• Prestanda – Att man kan skala lösningen ur ett prestandaperspektiv över tid
• Informationsmängd – Att man kan addera informationsmängder som hanteras över tid
• Säkerhet – Att man kan konfigurera lösningen för att kunna hantera mer och mer känslig data över tid

Utöver skalbarheten avser vi att infrastrukturen ska möjliggöra;

• En ökad samverkan inom AI-området mellan kommuner genom att sänka trösklarna för att tillgodogöra sig nyttorna med tekniken hos kommuner i alla storlekar
• Att kunskap som byggs upp i modeller och teknik går att dela mellan kommuner
• Transparens till varje "beslut" som AI tar

Principer för en långsiktigt hållbar AI-infrastruktur

För att åstadkomma vår hypotes tror vi att vi behöver en infrastruktur för AI som följer dessa principer;

• API-baserad
  All funktionalitet i lösningen ska vara exekverbar via API-er enligt Open API specification samt linjera med Sundsvalls kommuns API-strategi
• Oberoende av modell
  Lösningen ska tillåta utbyte av modeller över tid samt ha möjlighet att köra flera modeller där man genom konfiguration i exempelvis API-anrop kan styra vilken modell man vill köra en fråga mot.
• Kunna köra modeller och infrastruktur både i moln och lokalt
  Lösningen ska möjliggöra ett val av vart den ska köras teknisk, så att man kan börja med att köra t ex en GPT-modell i molnet men också kunna byta ut den mot en öppen modell som körs ända ned i lokal datahall.
• Transparent
  Lösningen ska ha stöd för öppna modeller och transparens i hur data behandlas så att det finns en insyn i lösningen.
• Kommuner äger sitt data
  All data och kunskap som byggs upp av kommunen eller med hjälp av kommunens tränande har även kommuner ett ägarskap över.

Hypotetisk lösningsarkitektur

Följande är en hypotetisk lösningsarkitektur för en lösning utifrån ovanstående principer, lösningsarkitekturen ska ses som en referens och utgångspunkt i det utforskande arbetet och anpassas löpande utefter de lärdomar som uppstår i processen.