Todos os artigos contendo a tag "DataEngineering".
O Google Cloud lança novas funcionalidades de agentes de dados para otimizar fluxos de trabalho de IA e análise de dados. Com Conversational Analytics e agentes especializados, a plataforma visa democratizar o acesso e a manipulação de dados corporativos com maior precisão e governança.
O BigQuery agora suporta as funções ARRAY_AGG e STRING_AGG em queries contínuas, oferecendo novas capacidades para agregação de dados em tempo real. Atualmente em fase de Preview, estas funcionalidades prometem otimizar o processamento e a análise de fluxos de dados.
O BigQuery agora oferece a criação de views materializadas sobre tabelas ativas com Change Data Capture (CDC) em Geral Disponível (GA). Esta funcionalidade otimiza a análise de dados em tempo real e simplifica pipelines de dados.
O Agentic Data Cloud, nova arquitetura de IA do Google Cloud, transforma dados em ações com agentes autônomos. Conheça as inovações que criam um Sistema de Ação para empresas.
O BigQuery lançou funcionalidades que permitem a transferência de dados do Snowflake, a execução de consultas contínuas com operações stateful em Preview e a análise de dados em formato de grafo com o BigQuery Graph.
O Google Cloud anunciou a disponibilidade geral da funcionalidade que permite o Reverse ETL do BigQuery para o Spanner usando Conexões de Recursos Cloud com a instrução EXPORT DATA. Essa nova integração otimiza o fluxo de dados entre plataformas analíticas e transacionais.
O BigQuery Data Transfer Service agora permite que agentes de IA criem, gerenciem e executem transferências de dados via servidor remoto MCP. Este recurso inovador está em fase de Preview e promete revolucionar a automação na gestão de dados.
O artigo ensina a criar um job simples no Talend para ordenar dados de um arquivo, destacando como essa automação otimiza a rotina de profissionais de dados, acelera o processamento e melhora a análise.
A Databricks, nascida em Berkeley, revolucionou o processamento de dados com o Apache Spark. Hoje, lidera a integração entre data lakes e IA, capacitando profissionais de dados para o futuro.
O Apache Phoenix introduz SQL no HBase, simplificando a interação e a manipulação de dados NoSQL. Profissionais de dados ganham agilidade na criação, consulta e gestão de tabelas e linhas, democratizando o acesso a grandes volumes de dados.
O Google Cloud anunciou a Disponibilidade Geral (GA) da funcionalidade de consultas parametrizadas diretamente no editor do BigQuery no Console do Google Cloud. Esta novidade melhora a segurança e a eficiência para analistas e desenvolvedores de dados.
Exploramos a clássica escolha entre pipelines de dados batch e em tempo real. Descobrimos que a evolução tecnológica e as demandas de negócio apontam para arquiteturas híbridas, onde a adaptação é crucial.
Equipes de dados sobrecarregadas precisam de mais que "mãos extras". Avalie processos, demanda e objetivos de negócio para decidir quando e como expandir seu time de forma estratégica e sustentável.
O Data Drop é seu portal de notícias sobre o ecossistema Google, Cloud e IA. Agradecemos sua leitura!