DATA LAKE, LAKEHOUSE E DATA WAREHOUSE: PARTE 2

Toda tecnologia tem seu momento de superexposição. O Data Lake viveu o seu entre 2012 e 2019, quando virou sinônimo de modernidade em dados para empresas de todos os tamanhos. A promessa era irresistível: armazene tudo de forma barata, em formato bruto, e depois a gente resolve. A realidade, documentada em centenas de projetos ao redor do mundo, foi exatamente o oposto do esperado.Repositórios caros, confusos e inutilizáveis. Um novo nome para um problema antigo: o data swamp, ou pântano de dados. O raciocínio que levou tantas empresas a adotar o lake como solução única é compreensível à primeira vista. Hadoop e depois S3, ADLS e GCS tornaram o armazenamento em grande escala dramaticamente mais barato. A escalabilidade era praticamente ilimitada. A flexibilidade, total. Por que pagar por um warehouse rígido e caro quando se pode guardar tudo num lake barato e resolver mais tarde?A resposta, que a maioria das...