Slutledningsprocessen inom den offentliga förvaltningen kan inte vara omöjlig att förklara
Svarta lådor och brist på öppenhet är fortfarande ett stort problem. Om vi inte kan ta reda på varför någon skadlig konsekvens inträffade, kan vi inte heller korrigera den.
– Forskare i artificiell intelligens Wendell Wallach, Yale universitet
Särskilt utmaningen med mer komplicerade system för artificiell intelligens kallas "svarta lådor". När de datamaterial som används är massiva, eventuellt består av flera källor och innehåller tusentals datapunkter, är den slutledning som algoritmen gör av materialet inte transparent och begriplig. Man kan bara konstatera att "maskinen producerade vad den producerade".
Detta är ett stort problem med tanke på tillförlitligheten. I synnerhet system för artificiell intelligens inom den offentliga sektorn borde redan enligt principerna för god förvaltning vara sådant att resultatet kan motiveras och förklaras. Detta är viktigt redan med tanke på medborgarnas rätt att överklaga och yrka på rättelse.