This page in English

Centrum för tillämpade autonoma sensorsystem (AASS)

Marjan vill öppna AI:s ”svarta låda”

Marjan Alirezaie.

Marjan Alirezaie, AI-forskare vid Örebro universitet, ska försöka göra artificiell intelligens mer transparent.

AI-metoder som djupinlärning fungerar utmärkt för uppgifter som att diagnosticera hudcancer. Problemet är att vi inte riktigt vet hur, eller varför, de fungerar. Genom att kombinera två olika AI-metoder hoppas Marjan Alirezaie, AI-forskare vid Örebro universitet, kunna se vad som pågår inuti AI:ns ”hjärna”.
– Om systemen kan förklara hur de kom fram till sina slutsatser, så kan vi att lita på dem, säger hon.

En människas hjärna har både en analyserande och kalkylerande sida, som kan arbeta tillsammans för att komma fram till slutsatser och lösa problem. Inom artificiell intelligens, AI, finns två sidor som till viss del motsvarar de funktionerna. Den ena är en datadriven metod, som maskininlärning eller djupinlärning, medan den andra är en kunskapsdriven metod, som baseras mer på logik och symboler.

Problemet är att de två metoderna inte kan samarbeta som hos en människa. Det ska Marjan Alirezaie, forskare i datavetenskap på AASS (Centrum för tillämpade autonoma sensorsystem) vid Örebro universitet, försöka ändra på.

– Genom att kombinera de här två AI-metoderna hoppas vi göra autonoma system mer robusta, både vad gäller att utvärdera olika situationer och även interagera med sin miljö och med människor.

AI-systemen måste kunna generalisera och anpassa kunskapen

Så länge det bara går att använda en av AI-metoderna blir användningsområdet begränsat, förklarar hon.

– Om man enbart förlitar sig på en datadriven metod, så måste man hela tiden ha mycket data – och bra data. Så länge man har det så fungerar systemet okej, men om man bara ändrar lite i situationen eller miljön, så finns det inga garantier att systemet fungerar längre. Maskinen kan lära sig, men den kan inte generalisera det den har lärt sig, säger Marjan Alirezaie och fortsätter:

– Så fungerar inte vi människor. Vi kan lära oss genom att titta på någonting, men vi kan också generalisera och anpassa den kunskapen så att den kan användas även i en annan situation eller miljö. Om vi vill ha robusta autonoma system, som inte är beroende av att en människa alltid måste övervaka dem, måste vi få systemen att både kunna lära sig från data men också att kunna generalisera och anpassa kunskapen.

Enklare att lita på en transparent AI

En annan vinst med att integrera de två AI-metoderna är att människan kan få mer förståelse för hur AI:n fungerar.

– Djupinlärning fungerar väldigt bra i vissa specifika områden, som till exempel att diagnostisera hudcancer. Men vi behöver fortfarande en människa där, eftersom vi inte vet hur systemet fungerar. Vi ser att det kommer fram till en lösning, men vi kan inte se vad som pågår i den ”svarta lådan”. Genom att integrera de här två metoderna så försöker vi öppna den svarta lådan och kunna övervaka de processer som pågår. Om systemen blir mer transparenta och kan förklara hur de kom fram till sina slutsatser, så kan vi också lita på dem.

Marjan Alirezaie.

Enligt Marjan Alirezaie finns det tusentals tillämpningar för den här tekniken. Ett exempel kan vara räddningsinsatser där man behöver flyga in hjälpmaterial eller förnödenheter med drönare. Eftersom miljön i sådana situationer ofta förändras snabbt, krävs det att AI:n fungerar bättre.

– Om det plötsligt brinner kraftigt längs den flygväg som drönaren tog förra gången, måste den själv kunna fatta beslut om att ändra sin rutt.

Integrering av de två AI-metoderna står i fokus

Eftersom de två AI-metoderna redan finns och fungerar, så kommer Marjan Alirezaie att fokusera på själva integrationen mellan dem. En uppgift som inte är alldeles enkel att lösa.

­– Även för oss människor är det inte helt uppenbart när vi lär oss genom ”data” och när vi generaliserar och anpassar kunskap, säger hon och lägger till:

– Vi vill skapa en balans, så att de datadrivna och kunskapsdrivna metoderna kan uppdatera och hjälpa varandra – precis som hos en människa. Om den datadrivna metoden till exempel kommer fram till ett resultat som inte stämmer överens med de regler som vi har satt upp, så ska systemet förstå att det måste försöka igen och hitta ett nytt sätt att lösa problemet.

Text och foto: Jesper Eriksson