I undersökningar har man observerat att system för artificiell intelligens har en tendens att producera beslut eller analyser som systematiskt gynnar vissa grupper på andra gruppers bekostnad.
Även i Finland har man sett enskilda fall av algoritmisk diskriminering. Oftast grundar de sig på kön, ålder, etnicitet, språk, socioekonomisk ställning eller någon annan motsvarande skyddad egenskap hos personen. Detta beror ofta på träningsdata som oundvikligen beskriver tidigare förhållanden och kan innehålla gamla diskriminerande strukturer. Man vet till exempel att algoritmer för ansiktsigenkänning har svårt att identifiera mörkhyade människor, eftersom det förekommer enormt mycket fler vithyade människor i de bildmassor på nätet som träningsdatan behöver.
Ibland kan diskrimineringen också bero på att en egenskap som kan vara en diskrimineringsgrund (till exempel ålder eller kön) används som en kritisk variabel i algoritmen. Då kan programmet behandla människor orättvist till exempel i samband med låneansökningar eller rekrytering.
Även metadata som genereras för att beskriva bilder är i sig ofta diskriminerande. Enligt datorn är bilden av en kvinna med vit jacka oftast "sjukskötare" och en man med vit jacka oftast "läkare". När sådana snedvridningar överförs till system med höghastighet och på massaskala sprids deras effekter snabbt och globalt och påverkar vidare träningen av nya AI-system, om man inte medvetet bryter den onda cirkeln.