Pensando no Brexit, o Bank of England redesenhou sua arquitetura da base de dados em torno do código aberto, buscando atender requisitos regulatórios e de escala, alavancando para ótimo visando evitar desconforto com a saída da UE. A mudança envolve o modo como coleta e analisa conjuntos de dados, além do rápido crescimento com versões corporativas de tecnologias de código aberto ajudando modernizar a arquitetura.
No fórum realizado em Barcelona, Dataworks Summit, o respnsável pelo big data do banco e o SME de domínio de análise de dados e modelagem falaram sobre algumas lições aprendidas, como confiança na rede interna visando localização e existência de dados e tamanho dos arquivos determinando uso de técnicas analíticas. Por conta da liderança inglesa como centro financeiro regulador de entidades e da necessidade em coletar 50 milhões de transações diárias com pico de 85 milhões foi nescessária a mudança de arquitura de dados.
Moral da Nota: o data Hub com sua nova arquitura funciona de modo que os dados chegam aos repositórios de transações, local em que são descompactados em arquivos CSV e armazenados em 'Zona não Processada' provocando aplicação de um conjunto de esquemas e estruturas. A seguir são carregados em tabelas, anexados e estruturados para consulta com o Apache Hive e carregados na zona de consumo. A nova arquitetura de hub de dados possui capacidade de 320 Terabits de armazenamento utilizável e 10 terabits de RAM, executado em hardware VMWare VxRack hiperconvergente com armazenamento EMC Isilon.
Em tempo: hub é um dispositivo com função de interligação de computadores de determinada rede local.