Artificiell intelligens förstår inte organisationens verksamhet
System för artificiell intelligens är verkligen bara ett verktyg för databehandling. Dess funktion är helt beroende av de data som används i systemet samt ägarorganisationens mål, kompetens och ansvarsfulla verksamhet.
I diskussionen om ansvarsfull utveckling av artificiell intelligens upprepas ofta begreppet "human in the loop". I praktiken innebär det att endast människan i sista hand kan både övervaka systemets funktion och godkänna systemets resultat och användningen av dem.
Utmaningen med denna princip är att användningen av system för artificiell intelligens utvidgas till att omfatta behandlingen av individuella fall och med tiden kanske också det egentliga beslutsfattandet.