Chama-se Wu Dao 2.0, o primeiro sistema de modelo inteligente em superescala desenvolvido na China, liderado pelo vice-presidente acadêmico de pesquisa da BAAI e pelo professor Tang Jie da Universidade de Tsinghua, apoiado por mais de 100 cientistas de IA da Universidade de Pequim, da Universidade Tsinghua, Universidade Renmin da China, Academia Chinesa de Ciências e etc, na verdade, o sucessor do Wu Dao 1.0 revelado pelo BAAI, sendo o Wu Dao 2.0, maior e melhor resposta da China ao GPT-3. Ao contrário do GPT-3, Wu Dao 2.0 se desenvolve em chinês e inglês com habilidades da análise de 4,9 terabytes de imagens e textos, em parceria com 22 marcas incluindo Xiaomi e o aplicativo de vídeo Kuaishou. O modelo chinês foi treinado em 1,75 trilhão de parâmetros, quase 10 vezes maior que os 175 bilhões de parâmetros de treinamento do GPT-3, podendo escrever poemas em estilos tradicionais chineses, responder perguntas, escrever ensaios e textos para imagens. O Wu Dao 2.0 revelou o Hua Zhibing, primeiro estudante virtual chinês do mundo, que aprende, faz desenhos e compõe poesia e, no futuro, aprenderá programar em total contraste com o GPT-3. Como o Wu Dao 2.0 foi treinado não se sabe ao certo tornando difícil compará-lo diretamente com o GPT-3, no entanto, o novo modelo de linguagem é prova das ambições chinesas de IA e seus programas de pesquisa, na certeza que inovação em IA aumentará nos próximos anos e tais desenvolvimentos auxiliarão promover outros setores. Em palestra no Parque de Ciência e Tecnologia de Hong Kong o Dr. Kai-Fu Lee, que ajudou construir unicórnios movidos a IA, explicou o poder dos transformadores afinando modelos pré-treinados como Wu Dao 2.0, segundo ele, modelos que podem ser ajustados há vários setores com inúmeras aplicações como educação, finanças, direito, entretenimento, saúde e pesquisa biomédica, este último quesito, o mais importante.
Alternativas criadas pela IA na indústria e impulsionada pela inovação, impactam a tecnologia espacial uma vez que serviços como previsão do tempo, sensoriamento remoto, televisão por satélite e comunicação de longa distância dependem da infraestrutura espacial e, no foco 5g, sistemas avançados de satélite, impressão 3D, big data e tecnologia quântica reformando atividades e operações no espaço. Pequenos satélites tornam-se populares permitindo cientistas conduzirem pesquisas e missões que os grandes satélites lutam e, miniaturizados, incentivam produção em massa permitindo projetos com boa relação custo-benefício, daí, empresas como Planet, Hawkeye, BlackSky e Swarm lançarem pequenos satélites com sucesso. Desenvolvimentos tecnológicos na comunicação espacial vão além dos receptores e transmissores fornecendo comunicação avançada como antenas de alta capacidade, estações terrestres e satélites de órbita baixa, LEO, com a Thorium Space Technologies e a Arctic Space Technologies inovando e facilitando comunicação espacial avançada. Satélites LEO e constelações multissatélites coletam dados de comunicação, conteúdo de imagem e espionagem, daí, necessidade de tratamento, análise e gerenciamento com tecnologias disruptivas como IA, blockchain e big data, por exemplo, a LeoLabs, start-up americana, aproveita os serviços de dados para rastrear e monitorar satélites com precisão através de produtos orbitais e radares phased array.
Moral da Nota: o Wu Dao 2.0 foi treinado com FastMoE, sistema semelhante ao Mixture of Experts, MoE, do Google, trabalhando modelos diferentes dentro de um modelo maior para cada modalidade, ou, sistema de portas permitindo que o modelo maior selecione quais modelos consultar para cada tipo de tarefa. O FastMoE em contraste com o MoE do Google, tem código aberto, dispensa hardware específico, tornando-o mais democrático e permitindo que pesquisadores do BAAI resolvam gargalos de treinamento que impediam modelos como o GPT-3 ultrapassar o marco de 1 trilhão de parâmetros. No blog oficial do WeChat da BAAI escreveram que “o FastMoE é simples de usar, flexível, de alto desempenho oferecendo suporte a treinamento paralelo em grande escala.”