Intric - En öppen plattform för generativ AI

Under de senaste åren har utvecklingen inom AI, särskilt generativ AI, tagit stora språng. Denna utveckling har väckt frågan om hur välutvecklade språkmodeller kan vara till nytta inom offentlig sektor. I Sundsvalls kommun använder vi den öppna AI plattformen Intric för att utveckla och tillhandahålla AI-tillämpningar inom området generativ AI, en plattform med den offentliga sektorns behov i centrum.

Generativa AI-tjänster och de språkmodeller de bygger på erbjuder fantastiska möjligheter, men de kommer med stora utmaningar kring bristande transparens och säkerhet.

Dessa lösningar är därför svåra eller helt omöjliga att använda inom offentlig sektor, framför allt inom områden där personuppgifter och/eller känslig information behandlas.

Därför har vi valt att utveckla och tillämpa en AI-plattform som bygger på öppenhet i grunden, som är helt teknikoberoende där olika AI-tjänster och språkmodeller kan användas för olika tillämpningar. En plattform som därmed möjliggör användning av generativ AI i stort sett i alla kommunala verksamheter.

Målbild för plattformen

Vår primära målbild med plattformen är att ge alla verksamheter och medarbetare i Sundsvalls kommunkoncern en jämlik tillgång till generativ AI. Om vi ska kunna tillgodogöra oss nyttorna ur generativ AI så får det inte bli en teknik för några få utan något som är tillgänglig för alla.

För att vi långsiktigt ska kunna tillgodogöra oss nyttorna behöver vi kunna;

• Följa omvärldens teknikutveckling
  Plattformen skall vara oberoende av en särskild teknik eller språkmodell, vi behöver kunna följa den snabba teknikutvecklingen i omvärlden och då behöver vi en plattform där vi snabbt kan koppla på den senaste AI-teknologin och snabbt börja tillämpa den.
  
• Använda vår egen data som kunskapsbas för AI-tjänster
  Plattformen ska använda vår egen interna verksamhetsdata för att hitta svar på frågor, vi måste vara trygga i att vår data/kunskap är det som styr hur AI-tjänten kommer fram till en slutsats.
  
• Ha full kontroll över säkerhet, algoritmer och behandling av data
  Vi som kommun ska sitta i förarsätet när det kommer till hur AI-tillämpas i alla led, den ska stötta i allt från att rätt AI-teknik användas för rätt säkerhetsnivå till att vi har kontroll över inställningar och regler i tillämpningarna. Genom detta ska vi även kunna ha en öppenhet och transparens gentemot våra målgrupper så att de kan förstå hur AI används när de är i kontakt med kommunen.
  
• Utöva en aktiv styrning och övervakning av användning av AI
  Plattformen ska vara ett aktivt stöd i uppfyllnad av GDPR, AI-förordning och andra relevanta lagar och regler. Detta innebär att plattformen både hjälper verksamheten att göra rätt utifrån känslighetsgrad i data och process till att vi enkelt ska kunna följa upp regelefterlevnad med stöd av plattformen.
  
• Utbyta AI-tjänster mellan kommuner så att vi blir starka tillsammans
  Då plattformen kommer att delas som öppen källkod finns det stor potential för att flera kommuner använder plattformen och då ska vi kunna dela AI-tillämpningar mellan kommunerna. På detta vis kan kommuner dra nytta av varandra så att inte hjulet behöver uppfinnas om och om igen.
  

Användningsområden och funktionalitet

Intric är en generell plattform vilket innebär att den kan användas i alla former av verksamheter och stötta ett brett behov av krav i olika processer och hos olika målgrupper. I Sundsvalls kommun används den exempelvis inom allt från vård och omsorg, utbildning till IT och fastighetsförvaltning. Plattformen kan både användas som en form av proxy gentemot olika AI-tjänster men även för AI-tillämpningar som bygger på RAG-modellen.

Ingenting i plattformen är verksamhetsspecifik utan alla funktioner som utvecklas är generiska och återanvändbara, så fort en ny funktion utvecklats så blir den tillgänglig för alla. Ett urval av funktionalitet som går att göra i Intric idag:

• Skapa kunskapsbaser som AI använder för att hitta svar (genom att läsa in hemsidor, ladda upp filer eller automatiskt skicka in data via API)
• Skapa chatbaserade AI-assistenter
• Skapa AI-tjänster som utför specifika uppdrag
• Analysera användningen av en assistent med stöd av AI för att få insikter i dess prestation
• Analysera bilder
• Transkribera och analysera ljudfiler
• Skapa samarbetsytor så att ett team av medarbetare kan samarbeta i utveckling, test och förvaltning av AI-tillämpningar
• Använda valfri mängd språkmodeller

Funktioner utökas löpande i takt med att fler behov uppstår i olika utvecklingsprojekt i Sundsvalls kommunkoncern.

Plan för öppen källkod

Plattformen är ännu ej utgiven som öppen källkod! Planen är att under hösten 2024 släppa Intric som öppen källkod och därmed förenkla spridning till andra parter. Inlägg kring detta kommer att publiceras här på utveckling.sundsvall.se när det sker.

Så länge den inte är öppen ska den behandlas som en proprietär och stängt produkt, Sundsvalls kommun har dock fullt ägarskap över all källkod som vi utvecklat under de senaste ca 12 månaderna.

Råd vid upphandling av AI-plattform

Då generativ AI fortfarande är en relativt ny teknologi så är marknaden fortfarande under uppbyggnad, detta innebär att det finns stora möjligheter för kommuner och andra offentliga aktörer att också styra mot en mer värdeskapande marknad. Gör vi inte det finns det en risk att vi fastnar i systemfelet inom offentlig sektor även inom generativ AI, där vi som offentliga aktörer är beroende av enskilda leverantörer utan möjlighet till påverkan.

Därför rekommenderar vi ett antal krav om man avser att upphandla en plattform för generativ AI redan idag, det handlar om tre grundläggande krav;

• Kommunen skall ha full äganderätt samt nyttjanderätt utan inskränkningar över all källkod som finansieras och utvecklas inom avtalet
• Genom denna äganderätt ger kommunen ut all utvecklad kod som öppen källkod enligt licenstyp MIT. Om särskilda villkor för viss utveckling ska gälla överenskoms det i beställningen mellan beställaren och leverantör.
• Leveransen av AI-plattformen skall ske 100% med öppen källkod, ingen stängd källkod som ej har en öppen licens får användas i leveransen av tjänsten

Plan för användarförening

När plattformen blir utgiven som öppen källkod kommer Sundsvalls kommun tillsammans med de första kommunerna som börjar nyttja plattformen att bilda en användarförening som är helt fristående från leverantörer av Intric.

Syftet med användarföreningen är flerfaldigad, men vi utgår från tidigare erfarenheter av bildandet av en användarförening för Open ePlatform.

Grundsyftet med användarföreningen är att främja en bred spridning av öppna AI-tillämpningar i offentliga Sverige där offentliga aktörer delar lösningar och erfarenheter med varandra.

Detta gör vi genom att;

• Vi har en styrelse som samordnar arbete inom föreningen
• Tillhandahålla ett digitalt forum för utbyte av erfarenheter, lösningar, prompting m.m.
• Genomföra seminarium med demo och utbyte kring användningfall och lösningar som bygger på Intric
• Vid behov skapas arbetsgrupper där ett par kommuner blir färdledande i att utreda eller driva utveckling inom ett särskilt område
• Aktivt dela AI-tillämpningar byggda på Intric

Vi tjuvstartar med ett digitalt forum för utbyte mellan offentliga aktörer

Vi har redan tjuvstartat med ett digitalt forum där kommuner som börjat testa Intric eller är nyfikna kring plattformen kan bolla frågor och utbyta erfarenheter direkt kommuner emellan. Vill du delta i det digitala forumet så kan du maila digitalisering@sundsvall.se så skickar vi en inbjudan. För närvarande går det inte att registrera sig direkt själv.

Kontakt

Om du är nyfiken på att veta mer om Intric, ta gärna kontakt med oss via digitalisering@sundsvall.se.