Analytics: How fast do you think? / Analytics: Quão rápido consegue pensar?
This article is written in English and Portuguese
Este artigo está escrito em Inglês e Português
English version:
I was educating myself on the Internet when I came across another IT jargon expression, or another buzzword. The IT industry is very prolific when it comes to creating buzzwords.
And we the technical people usually look at those ideas with some
distrust. But although this is used by the marketing teams to promote
products, increase sales and create awareness and needs on the
customers, they actually summarize perfectly concepts that are in some
cases very complex. Take "SOA" (Service Oriented Architecture), BigData
and so on as examples. Many people use them (and some even assume they
need it) without really understanding them. But why am I going through
this? Because I was hit by a new buzzword that I can really map to
something I know and that really describes the power of that "thing" I
know... Let's start by the buzzword first: "Analytics at the
speed of thought". It has been used for years to describe products,
concepts and technologies that try to provide exactly that: The ability
to analyze data at the speed you think... But let's go back a little
bit... What is "data analysis"? Well we can consider it a big umbrella,
and depending on your background, fit things like reporting, market
segmentation, CHURN, market basket analysis
etc. But IT departments have been doing this and providing this to
business users for a long time. Datawarehouses, datamarts and so on.
Everybody has them. But as usual, that's not enough... We're constantly
pushing the limits and trying to take advantage of latest technology
improvements. And now we're getting to a point where we can "explore"
the data that we have... The idea is not to have a report on our desk
each morning that took part of the night to run... These reports can
contain some very valuable business data that tells us how things are
going... which customer are about to leave us etc. The idea is that we
can, and should, use the data to explore new business ideas, to create
virtual scenarios and in summary, to learn things that we never though
about before. And that requires the ability to process data at our
speed... and our speed is the speed of thought... I'm sure yours is not
slower than mine, and I'd like to think mine is pretty quick (not always
I must admit!). The big point is that if you have an idea, an
hypotheses, and you need to verify if your business data confirms it,
you don't want to wait large minutes or even hours for your query. By
the time it returns you lost your focus, and the creativity is wasted.
You need the system to answer you in a few seconds... 1 or 2 minutes...
Not much more.
But is it possible? Well, yes! And the solution depends on your environment.
As
you can imagine, and since this an Informix blog I think we have a
solution. Critics will probably be thinking that the solution is
BigData, not an "OLTP database" like Informix. Well... I wouldn't
replace a true BigData system that crunches thousands of Terabytes
(think about Google, YouTube etc.) of non-structured data with
Informix... But let me ask you... How many of us work in those kind of
environments? For the "common people" we need something that is simple,
that works, that's fast and that doesn't require highly qualified
engineers and true "data scientists".
And now, yes, I can tell you what I'm thinking about: Informix Warehouse Accelerator. I've mentioned it before, and I've published a reference to a video that explains the raw concepts much better than what I'll ever be able to do. But in short it:
- Is a new generation in-memory database
- Takes advantage and is completely adjusted to new chips technology
- Is designed to scale just by adding a new machine (or node)
- Is transparent to the regular applications and to any application that can use JDBC, ODBC etc.
- Is tightly coupled with your regular database that you can use for your OLTP needs
- It's amazingly fast (yes... Speed of Thought)... Allows the "think", click, look at the results, "rethink", click again, look at new results type of work
- It's unbelievable simple to setup and use
- Fit's your real size... it was made for you... Not for the "big boys" and then pushed down the marketing channels to the average business customers
Versão Portuguesa:
Estava a educar-me na Internet quando me cruzei com mais uma expressão ou jargão de TI, ou usando o termo Inglês uma buzzword. A área de Tecnologias de Informação é muito prolífica no que toca a criar estes chavões ou expressões. E nós o pessoal técnico, costumamos olhar para elas com alguma desconfiança. Mas apesar de estes conceitos serem criados e usados pelas equipas de marketing para promover produtos, aumentar vendas e criar consciência e necessidades nos clientes, a verdade é que resumem de forma perfeita conceitos que são algumas vezes bastante complexos.
Veja-se os casos de "SOA" (Service Oriented Architecture), BigData etc. Muitas pessoas usam estes termos, e até assumem que necessitam das ideias, mesmo sem que as compreendam muitas vezes.
Mas porque é que estou a navegar nestes temas? Bom, porque fui "atingido" por um destes chavões, mas que consigo realmente mapear para algo que conheço e que efetivamente descreve plenamente o potencial dessa "coisa" que eu conheço... Mas comecemos primeiro pelo "chavão": "Analytics à velocidade do pensamento" (decidi não traduzir "analytics" por manifesta dificuldade e porque penso que o termo é suficientemente conhecido). Este chavão tem sido usado há anos para descrever produtos, conceitos e tecnologias que tentam providenciar exatamente isso: A capacidade de analisar dados à velocidade que pensamos sobre eles... Mas recuemos um pouco.... O que é a "análise de dados"? Podemos considerar que é um grande toldo, e dependendo do seu contexto, lá podemos encaixar coisas como elaboração de relatórios, segmentação de mercado, CHURN, análise de cestos de compras etc. Mas os departamentos de informática têm feito isto e fornecido estas capacidades aos departamentos de negócio desde há longo tempo. Datawarehouses, Datamarts etc. Toda a gente os tem, toda a gente os usa. Mas como é hábito, isso tende a não ser suficiente. Estamos constantemente a tentar ultrapassar os limites e a tentar tirar mais proveito dos últimos avanços na tecnologia e do natural aumento de capacidade dos sistemas. E agora estamos num ponto em que podemos "explorar" os dados que temos... A ideia não é ter um relatório na nossa secretária de manhã que terá levado parte da noite a ser gerado... Estes relatórios podem conter alguma informação preciosa que nos diz como as coisas estão a correr... que clientes estão em risco de nos deixar etc... Mas a ideia é que podemos, e devemos, usar os dados para explorar novas ideias sobre o negócio, criar cenários virtuais, em suma aprender coisas que não sabíamos. E isso requer a capacidade de processar os dados à nossa velocidade.. e a nossa velocidade é a velocidade do pensamento. Aposto que a sua não é inferior à minha, e gosto de pensar que a minha é bastante rápida (tenho de admitir que nem sempre!). O facto é que se temos uma ideia, uma hipótese, e se precisamos de confirmar se os nossos dados de negócio a verificam, não queremos nem podemos esperar longos minutos ou mesmo horas pelo resultado de uma query. Quando chegasse o resultado o nosso foco ter-se-ia perdido e a nossa criatividade teria sido desperdiçada. Precisamos que os sistemas respondam em alguns segundos... 1 ou 2 minutos... Não muito mais que isso.
Mas tal será possível? Sim! E a solução depende do seu ambiente.
Como é fácil de imaginar, e porque isto é um blog dedicado a Informix, julgo que temos uma solução. Os críticos irão desde já pensar que a solução é BigData, não uma "base de dados OLTP" como o Informix. Bom... Eu não trocaria um verdadeiro sistema BigData que "mastigue" milhares de Terabytes de informação não estruturada (pensemos no Google, YouTube etc.) por Informix... Mas deixe-me perguntar... Quantos de nós trabalhamos nesse tipo de ambientes? Para os "comuns mortais" precisamos de algo que seja simples, que funcione, que seja rápido e que não necessite de um exército de engenheiros altamente qualificados e verdadeiros data scientists.
E agora sim, posso revelar aquilo em que estou a pensar: Informix Warehouse Accelerator. Já o mencionei antes, e já publiquei uma referência a um vídeo que o pode explicar melhor do que alguma vez serei capaz. Mas em resumo:
- É uma base de dados in-memory de última geração
- Aproveita e está completamente ajustado à tecnologia dos últimos CPUs
- Está desenhado para crescer pela simples adição de mais máquinas (ou nós)
- É transparente para as aplicações habituais e para qualquer aplicação que "fale" JDBC ou ODBC
- Está intimamente ligado com a base de dados "normal" que pode usar para OLTP
- É espantosamente rápido (sim... velocidade do pensamento)... Permite o ciclo "pense", click, veja os resultados, "repense", click novamente e veja os novos resultados
- É inacreditavelmente fácil de instalar e usar
- Ajusta-se ao tamanho real do seu negócio. Foi feito para si. Não é algo criado para os "gigantes" que depois foi empurrado para baixo pelos canais de marketing até chegar ao negócio médio
Posts
No comments:
Post a Comment