Conceitualmente Crawlers ou Web Crawlers são robôs usados para extração de dados na web. Como não poderia deixar de ser seu maior usuário é o Google que busca sites na rede para indexar. Coleta-se de tudo concentreando em um único portal desde notícias de futebol a preços de commodities de petróleo, suco de laranja congelado, boi gordo, café, ouro, soja e em conseqência programados para enviar alertas como os da bolsa de valores. Trata-se de solução interessante às indústrias via cotações de moedas fiduciárias ou de criptografia.
A coisa não para por aí já que de graça fazem previsões no mercado financeiro de probabilidades nem sempre 100%, cujo resultado é positivo para quem usa. Isto é utilizado por Machine Learning e Deep Learning em que um modelo gera predições ou valores de preços na bolsa por exemplo. Na indústria e comércio existe a previsão de demanda inserida na ideia em predizer venda e estoque pelas sazonalidades.
Moral da coisa: através da Inteligência artificial cria-se um modelo preditivo de quantidades de demanda de certo produto, inclusive ingressos de shows. Em suma, um algorítmo de aprendizado de máquina é criado fazendo o serviço que atualmente tem conseguido escala na segurança pública e trânsito, além do agronegócio via inteligência cognitiva em que se identificam pragas nas plantações ou focos de queimadas.