Juntamente com as tecnologias sociais, móveis e de nuvem, a análise e as tecnologias de dados associadas têm surgido como perturbadores de negócios centrais na era digital. À medida que as empresas deixaram de ser geradoras de dados para se tornarem organizações orientadas por dados em 2017, os dados e a análise tornaram-se o centro de gravidade para muitas empresas. Em 2018, estas tecnologias devem começar a gerar valor. Estas são as abordagens, papéis e preocupações que irão orientar as estratégias de análise de dados no próximo ano.
Os lagos de dados devem provar o seu valor comercial ou não irão durar
Os dados têm vindo a acumular-se na empresa a um ritmo vertiginoso há anos. A Internet das Coisas (IoT) apenas acelerará a criação de dados à medida que as fontes de dados se deslocam da web para dispositivos móveis, e depois para máquinas.
“Isto criou uma grande necessidade de escalar os canais de dados de uma forma rentável”, disse Guy Churchward, CEO do fornecedor da plataforma de dados em tempo real DataTorrent.
Para muitas empresas, impulsionadas por tecnologias como o Apache Hadoop, a resposta foi criar lagos de dados – plataformas de gestão de dados para armazenar todos os dados de uma organização em formatos nativos. Os lagos de dados prometeram quebrar silos de informação, fornecendo um único repositório de dados que poderia ser utilizado por toda a organização para tudo, desde a análise de negócios à extracção de dados. Os lagos de dados em bruto e sem governo estabeleceram-se como um grande“apanha-tudo”e“cura-tudo” de dados.
“O lago de dados funcionou fantasticamente bem para as empresas durante a era dos dados ‘em repouso’ e ‘em lote'”, observou Churchward. “Em 2015, começou a tornar-se evidente que esta arquitectura estava a ser demasiado utilizada, mas agora tornou-se o calcanhar de Aquiles para uma verdadeira análise de dados em tempo real. O estacionamento de dados, e depois a sua análise, coloca as empresas numa enorme desvantagem. Quando se trata de obter informação e tomar medidas tão rapidamente quanto o cálculo permite, as empresas que dependem de dados de eventos obsoletos criam um eclipse total de visibilidade, acção e quaisquer possíveis soluções imediatas. Esta é uma área onde “suficientemente boa” será estrategicamente fatal.
Monte Zweben, CEO da Splice Machine, concorda.
“A era da desilusão do Hadoop atinge tudo; com muitas empresas a afogarem-se nos seus lagos de dados, incapazes de obter um ROI devido à complexidade dos motores de computador baseados no Hadoop”, Zweben previu para 2018.
Para sobreviver a 2018, os lagos de dados terão de começar a provar o seu valor comercial, acrescentou Ken Hoang, vice-presidente de estratégia e alianças na Alation, especialista em catálogo de dados.
“A nova lixeira de dados – lagos de dados – passou por implementações experimentais ao longo dos últimos anos, e começará a fechar a menos que provem que podem fornecer valor”, disse Hoang. “A marca de um lago de dados bem sucedido será um catálogo de empresas que reúne pesquisa e gestão de informação, juntamente com inteligência artificial para fornecer novos conhecimentos ao negócio.
No entanto, Hoang não acredita que tudo esteja perdido para os lagos de dados. Ele previu que estes e outros grandes centros de dados poderão encontrar uma nova oportunidade com aquilo a que ele chama “super centros”, que podem oferecer “contexto como serviço” através da aprendizagem de máquinas.
“Grandes implementações de centros de dados nos últimos 25 anos (por exemplo, armazéns de dados, gestão de dados principais, lagos de dados, Salesforce e ERP) criaram mais silos de dados difíceis de compreender, relacionar ou partilhar”, disse Hoang. “Um centro que reúna todos os centros proporcionará a capacidade de ligar bens dentro deles, permitindo o contexto como um serviço. Por sua vez, irá gerar informação preditiva mais relevante e poderosa para melhores e mais rápidos resultados comerciais operacionais.
“Veremos cada vez mais empresas a tratar computação em termos de fluxos de dados, em vez de dados que são apenas processados e desembarcados numa base de dados”, disse Dunning. “Estes fluxos de dados captam os principais eventos empresariais e reflectem a estrutura do negócio. Um tecido de dados unificado será a base para a construção destes sistemas em grande escala, baseados em fluxos.
Langley Eide, chief strategy officer da Alteryx, especialista em análise de dados de auto-atendimento, disse que as TI não serão as únicas a fazer os lagos de dados gerarem valor: os analistas da linha de negócio (LOB) e os chief digital officers (CDOs) também terão de assumir a responsabilidade neste 2018.
“A maioria dos analistas não explorou a vasta quantidade de recursos não estruturados, tais como dados de clickstream, dados de IoT, dados de registo, etc., que inundaram os seus lagos de dados; em grande parte porque é difícil fazê-lo”, disse Eide. “Mas francamente, os analistas não estão a fazer o seu trabalho se deixarem estes dados intocados. É amplamente entendido que muitos lagos de dados são bens de baixo desempenho: as pessoas não sabem o que está lá dentro, como aceder a eles, ou como criar insights a partir dos dados. Esta realidade irá mudar em 2018, uma vez que mais CDOs e empresas querem um melhor ROI para os seus lagos de dados”.
Eide previu que em 2018 os analistas irão substituir ferramentas de “força bruta” – tais como Excel e SQL – por mais técnicas e tecnologias programáticas, tais como catalogação de dados, para descobrir e obter mais valor a partir dos dados.
O CDO atingirá a maioridade
Como parte deste novo push para uma melhor compreensão dos dados, a Eide também previu que o papel do CDO se desenvolverá plenamente em 2018.
“Os dados são essencialmente o novo petróleo, e o CDO está a começar a ser reconhecido como a peça principal na abordagem de uma das questões mais importantes nos negócios de hoje: o valor de condução dos dados”, disse Eide. “Muitas vezes com um orçamento de menos de 10 milhões de dólares, um dos maiores desafios e oportunidades para os CDO é realizar a muito publicitada oportunidade de auto-serviço, trazendo os bens de dados corporativos aos utilizadores da linha de negócio. Em 2018, os CDO que trabalham para encontrar um equilíbrio entre uma função centralizada e capacidades LOB integradas acabarão por obter os maiores orçamentos”.
Ascensão do curador de dados?
Tomer Shiran, CEO e co-fundador da empresa de análise Dremio, uma força motriz por detrás do projecto de código aberto Apache Arrow, previu que as empresas verão a necessidade de um novo papel: o curador de dados.
Shiran disse que o curador de dados é encontrado entre os consumidores de dados (analistas e cientistas de dados que utilizam ferramentas como Tableau e Python para responder a perguntas importantes com dados), e engenheiros de dados (as pessoas que movem e transformam dados entre sistemas utilizando linguagens de scripting, Spark, Hive e MapReduce). Para terem sucesso, os curadores de dados devem compreender o significado dos dados, bem como o significado das tecnologias que se aplicam aos mesmos.
“O curador de dados é encarregado de compreender os tipos de análises que precisam de ser realizadas por diferentes grupos dentro da organização, que conjuntos de dados estão devidamente equipados para o trabalho, e os passos no processo de tomar os dados no seu estado natural e moldá-los na forma necessária para o trabalho que um consumidor de dados irá realizar”, observou Shiran. “O curador de dados utiliza sistemas, tais como plataformas de dados de auto-serviço, para acelerar o processo de ponta a ponta de fornecer acesso a conjuntos de dados essenciais aos consumidores de dados sem fazer cópias infinitas da informação”.
As estratégias de governação de dados serão questões-chave para todos os executivos de nível C.
O Regulamento Geral de Protecção de Dados da União Europeia (GDPR) entrará em vigor a 25 de Maio de 2018, e está a surgir como um espectro sobre o campo da análise, embora nem todas as empresas estejam prontas.
A GDPR aplicar-se-á directamente em todos os estados membros da UE, e mudará radicalmente a forma como as empresas devem procurar o consentimento para recolher e processar os dados dos cidadãos da UE, explicou os advogados da Morrison & Foerster’s Global Privacy + Data Security Group Miriam Wugmeister, co-presidente da Global Privacy; Lokke Moerel, especialista europeu em privacidade; e John Carlin, presidente da Global Risk and Crisis Management (e ex-procurador-geral adjunto da Divisão de Segurança Nacional do Departamento de Justiça dos EUA).
“As empresas que dependem do consentimento para todas as suas operações de processamento deixarão de poder fazê-lo, e necessitarão de outras bases jurídicas (isto é, necessidade contratual e interesse legítimo)”, explicaram eles. “As empresas terão de implementar um ecossistema completamente novo para receber notificações e consentimentos”.
“Quando o boom do Y2K aconteceu, todos estavam a preparar-se para as probabilidades que podem ou não enfrentar”, disse Scott Gnau, CTO da Hortonworks. “Hoje, parece que ninguém se está a preparar adequadamente para quando o GDPR será implementado em Maio de 2018. Porque não? Encontramo-nos actualmente numa fase em que as organizações não só estão a tentar lidar com o que está para vir, como estão a lutar para manter e abordar as questões que precisam de ser resolvidas na altura. É provável que muitas organizações dependam dos chefes de segurança para definir as regras, sistemas, parâmetros, etc., para ajudar os seus integradores de sistemas globais a determinar o melhor curso de acção. Isto não é uma expectativa realista para o papel de uma pessoa individual”.
Para fazer cumprir correctamente a GDPR, a suite C precisa de ser informada, preparada e comunicativa com todas as facetas da sua organização, disse Gnau. As organizações necessitarão de uma melhor gestão da gestão global dos seus activos de dados. Mas grandes infracções, tais como a infracção Equifax que veio a lume em 2017, significam que terão dificuldade em equilibrar o fornecimento de acesso de auto-serviço aos dados por parte dos empregados, protegendo ao mesmo tempo esses dados de potenciais ameaças.
Como resultado, Gnau previu que a governação de dados será um ponto focal para todas as organizações em 2018.
“Um objectivo-chave deveria ser o desenvolvimento de um sistema que equilibre a democratização dos dados, o acesso, a análise e a regulamentação do self-service”, disse Gnau. “No futuro, a forma como concebemos os dados com segurança terá um impacto em todos: clientes nos EUA e no estrangeiro, os meios de comunicação social, os seus parceiros e muito mais.
Zachary Bosin, director de marketing de soluções para a Veritas Technologies, especialista em gestão de dados multi-nuvem, previu que uma empresa americana será capaz de oferecer aos seus clientes uma solução para o problema. será um dos primeiros a ser multado ao abrigo do GDPR.
“Apesar do prazo iminente, apenas 31% das empresas inquiridas pela Veritas em todo o mundo acreditam estar em conformidade com o GDPR”, disse Bosin. “As sanções por incumprimento são íngremes, e este regulamento afectará todas e cada uma das empresas que lidam com cidadãos da UE”.
A proliferação da gestão de metadados continua
Não se trata apenas de GDPR, é claro. O dilúvio de dados continua a crescer, e os governos de todo o mundo estão a impor novas regulamentações como resultado disso. Dentro das organizações, as equipas têm mais acesso aos dados do que nunca. Tudo isto contribui para a crescente importância da governação de dados, juntamente com a qualidade dos dados, integração de dados e gestão de metadados.
“Gerir metadados e assegurar a privacidade dos dados para regulamentos como a GDPR junta-se a tendências anteriores como a IA e a IdC, mas a tendência inesperada de 2018 será a convergência das tecnologias de gestão de dados”, observou Emily Washington, vice-presidente sénior software de gestão de produtos do fornecedor de dados e análises Infogix. “Cada vez mais, as empresas estão a avaliar formas de optimizar a sua pilha tecnológica global porque querem aproveitar grandes dados e análises para criar uma melhor experiência do cliente, atingir objectivos comerciais, ganhar uma vantagem competitiva e, em última análise, tornar-se líderes de mercado.
A extracção de conhecimentos significativos e o aumento da eficiência operacional exigirão ferramentas flexíveis e integradas que permitam aos utilizadores ingerir, preparar, analisar e controlar rapidamente os dados, diz Williams. A gestão de metadados, em particular, será essencial para apoiar a governação de dados, o cumprimento da regulamentação e as exigências de gestão de dados em ambientes de dados empresariais.
A análise preditiva ajuda a melhorar a qualidade dos dados
À medida que os projectos avançam para a produção, a qualidade dos dados é cada vez mais preocupante. Isto é especialmente verdade à medida que a IdC abre mais as comportas. Infogix diz que em 2018 as organizações irão recorrer a algoritmos de aprendizagem de máquinas para melhorar a detecção de anomalias na qualidade dos dados. Ao utilizar padrões históricos para prever resultados futuros de qualidade de dados, as empresas podem detectar dinamicamente anomalias que de outra forma poderiam ter passado despercebidas, ou que poderiam ter sido encontradas muito mais tarde apenas através de intervenção manual.
“À medida que mais dados são gerados através de tecnologias como a IdC, torna-se cada vez mais difícil de gerir e aproveitar”, disse Washington. “Ferramentas integradas de auto-serviço fornecem uma visão holística do panorama de dados de uma empresa para se chegar a conclusões significativas e oportunas. A transparência total nos activos de dados da empresa será crucial para o sucesso das iniciativas analíticas, abordando as necessidades de governação e privacidade de dados, monetizando os activos de dados, e muito mais à medida que avançamos para 2018″.
-Thor Olavsrud, CIO.com – CIOPeru.pe
Fonte: CIO México
