O software criado pela Microsoft compara selfie com foto de arquivo, fazendo verificações automatizadas via algoritmo ou verificações manuais realizadas por humanos. As imagens em redes sociais, aplicativos de transporte ou inscrições digitais são automaticamente cortadas através de algoritmo programado para focar na "saliência", medida da probabilidade do olho humano ser atraído à determinada parte da imagem. Áreas de alto destaque na imagem geralmente incluem pessoas, texto, números, objetos e planos de fundo com alto contraste, no entanto, um algoritmo de aprendizado de máquina como o do Twitter, por exemplo, é tão imparcial quanto as informações com as quais é testado, daí, emerge o problema com o algoritmo que corta automaticamente as fotos do Twitter, debate ao longo de 2020 quando Colin Madland, estudante canadense de doutorado, observou que o algorítmo optava por mostrá-lo na visualização em vez de seu colega, um negro, viralizando seu tweet e levando usuários postarem fotos com pessoas em esforço para ver qual delas seria escolhida pelo algoritmo.
O caso do Uber no Reino Unido verifica a identidade em tempo real desde abril de 2020, após o regulador de transporte TfL de Londres levantar preocupações sobre a segurança dos passageiros da empresa. Nesta ideia, motoristas demitidos como resultado de supostos bugs de software que o sindicato chamou de "algoritmo racista", sendo que o Uber defende seu software de reconhecimento facial explicando que foi "projetado para proteger segurança dos que usam o aplicativo, garantindo que o motorista correto esteja ao volante". Determinou que o sistema inclui “revisão humana garantindo que o algoritmo não tome decisões precipitadas e errôneas deixando motoristas sem identificação, daí, consequente a demissão na Justiça do Trabalho, alegam que nunca foi oferecida opção de verificação manual das fotos que provavam que era ele, tudo ficando nas mãos do algoritmo do Uber com alegação contrária por parte da empresa que as fotos são enviadas a verificação manual.
Moral da Nota: o Twitter é acusado de utilizar algorítmo que prefere brancos e mulheres e, em nova análise, confirmou que o algoritmo de corte automático de fotos da empresa discrimina com base na etnia e gênero e, caso uma imagem de homem negro e mulher branca seja carregada, o algoritmo escolherá mostrar a mulher 64% das vezes e o homem 36% e comparados homens e mulheres a diferença é de 8% a favor das mulheres. O algoritmo mostrou ainda viés geral de 4% voltado à exibição de imagens de pessoas brancas em vez de negras e, em resposta, a rede social disse que removeria o recurso por ferramentas que permitiria usuários a "visualização real" das imagens adicionadas aos tweets, sem preconceito de raça ou gênero. O diretor de engenharia de software do Twitter, explicou que "nem tudo que é carregado na rede social é facilmente identificável por um algoritmo e, neste caso, cortar uma imagem é a melhor decisão a tomar." O detalhe é que nada semelhante aconteceu com o 'olhar masculino' que visava descobrir se o algoritmo tendia focar diferentes partes do corpo feminino, não encontrando evidências de preconceito quando aplicado a tecnologias de reconhecimento facial, sendo que consequências do viés do algoritmo podem ir além de foto cortada injustamente. Por fim, experts convergem que algoritmos são conhecidos por retratar pessoas com base em convenções racistas de tons de pele mais escura como mais violentas e próximas de animais, sendo provável que tenha efeito sobre pessoas racializadas quando tais sistemas são usados para detectar situações anormais ou perigosas como o caso em muitas partes da Europa. Para concluir, preconceito racial tem sido problema no uso da tecnologia, com estudo de 2018 apontando que tecnologias de reconhecimento facial funcionam melhor com pele clara.