terça-feira, 14 de setembro de 2021

Big Data

O Big data não se trata apenas do tamanho ou volume dos dados armazenados, mas  refere-se a grandes quantidades de dados que vêm de fontes diversas e com formatos diferentes. Consequente à natureza variada dos dados, os sistemas de banco de dados relacionais tradicionais são incapazes de lidar com todos os dados, daí, Big Data ser mais que uma coleção de conjuntos de dados em formatos diversos, trata-se de ativo utilizado para obter benefícios do conhecimento. Possui formatos diferentes 'Estruturado' com dados organizados como esquema fixo, por exemplo, RDBMSSemiestruturado com Dados parcialmente organizados, não tem formato fixo, XML, JSONDestructures com Dados não organizados com esquema desconhecido inseridos em arquivos de áudio, vídeo, etc. O termo Big data se refere a quantidade de dados extraordinariamente grande e complexa de manusear, que requer aplicativos avançados e incomuns ao processamento e, para extrair as informações, requer software especializado para obter valor real dos dados e, através de análise prever o comportamento do usuário, com informações às empresas e corporações.

O crescimento exponencial dos dados e consequente armazenamento em sistemas de banco de dados relacionais, gera invenções, tecnologias, aplicativos de tempo de resposta rápido ao lado da geração de dados contínuos e massivos chamada de Big Data que evolui sobre a Validade com a precisão dos dados, Variabilidade sobre o comportamento dinâmico, a Volatilidade envolvendo tendência em mudar ao longo do tempo, a Vulnerabilidade sobre a violação ou ataque e, por fim, a Visualização do uso significativo de dados. A aplicação de algoritmos de mineração de dados em determinado conjunto, auxilia na tomada de decisões com ferramentas para processar dados Big Data como Hadoop, Pig, Hive, Cassandra, Spark, Kafka, etc. dependendo da organização. No Entretenimento a Netflix e Amazon usam Big data para recomendar programas e filmes aos usuários, no Seguro a tecnologia prevê doenças, acidentes e define o preço dos produtos, os Carros autônomos do Google coletam um gigabyte de dados por segundo. Tais experimentos exigem cada vez mais dados com a Educação optando por Big Data como ferramenta de aprendizagem, em vez dos métodos de ensino tradicionais, que melhoram o aprendizado e ajudam o professor acompanhar seu desempenho. Na industria automotiva, a Rolls Royce adotou a tecnologia instalando sensores nos motores e trens de força que registram cada detalhe de operação, sendo que as alterações em tempo real são relatadas aos engenheiros que decidem o melhor curso da ação, como programar a manutenção ou enviar equipes de engenharia e, no Governo, um caso de uso está no campo da política ao analisar padrões e influenciar resultados de eleições.

Moral da Nota: a Forbes informa que a cada minuto, usuários assistem a 4,15 milhões de vídeos no YouTube, enviam 456 mil tweets no Twitter, postam 46.740 fotos no Instagram com 510 mil comentários e 293 mil status atualizados no Facebook, produzindo dados que levam à formação do Big Data. Relata ainda 2,5 quintilhões de bytes de dados criados a cada dia acelerando de modo exponencial sendo que a IoT, Internet das Coisas, é tecnologia que desempenha papel crucial  nessa aceleração com 90% de todos os dados atuais gerados nos últimos dois anos. A Starbucks, rede de cafeterias, utiliza Big Data em análise de preferências do cliente aprimorando e personalizando experiência, analisando hábitos de compra de café de seus membros, bebidas preferidas e hora do dia que costumam pedir. Assim, quando visitam um "novo" local Starbucks o sistema de ponto de venda desse local identifica o cliente através do smartphone, dando ao barista seu pedido preferido com base nas preferências do cliente, com aplicativo sugerindo novos produtos a experimentar, à isto, chamamos de Big Data Analytics. A IBM avisa que 59% da demanda por trabalho em Data Science and Analytics, DSA, é em Finanças e Seguros, Serviços Profissionais e TI com crescente demanda por profissionais de análise, com artigo da Forbes revelando que “a IBM prevê demanda por dados disparando 28%” e, em 2020, o número de vagas à profissionais de dados nos EUA aumentou de 364 mil vagas para 2,72 milhões.