Sunday, August 21, 2011

10 years of IBM / 10 anos de IBM

This article is written in English and Portuguese
Este artigo está escrito em Inglês e Português

English version

On July 2, 2001, IBM announced the completion of Informix acquisition. So, 10 years have passed since the deal that changed many people lives. A lot was written at the time and since then about the deal, about Informix future, about competitors reactions etc. This historical milestone made me take a look back and think about what's been going on. There are several perspectives about this: The professional, personal, the technical and the marketing ones (and probably more that don't come to mind at this moment). Personally, the acquisition happened three years after I joined Informix Portugal. At the time I was already deeply involved with a Portuguese customer (large Telco) and I believe I gained precious experience since then. Being at IBM I had the opportunity to have some experience with other products (from areas that touch the database area), although the focus was and still is Informix. Informix allowed me to interact with many large (from a small country perspective) companies. So, it was a very positive transition. Of course not everything is perfect. Needless to say that the environment in a small company branch (around 20 people at the time) is by no means similar to the environment of a larger corporation like IBM. The processes inside big corporations are more complex. This is a fact and there's nothing we can do against it.

From a technical perspective, the Informix evolution was incredible. For those of you who know Informix, just think about the releases that came out inside IBM: 9.3 (little to no influence from IBM because it was launched in 2001), 9.4 (2003), 10 (2005), 11.10 (2007), 11.50 (2008) and 11.7 (2010). By the way, from these, only 9.3 has no support at all and 9.4 and 10 are on limited support. There's value for money here, and investment protection. You can compare this to our main competitor for example. They launched 9i R1, 9i R2, 10g R1, 10 R2, 11g R1 and 11g R2. To the best of my knowledge only latest two are fully supported, so more or less the same number of releases and more supported versions for us. Not bad for a database which had no future ten years ago, I'd say.
If I try to recall all the new features I'll end up with another very large article. But some of them must be mentioned:

  • 9.3
    ER in the ORDBMS product line (9.x)
  • 9.4
    Larger chunks
    ER and HDR at the same time
    PAM authentication
    B-Tree scanners (as opposed to older B-Tree cleaner)
  • 10
    Multiple page sizes
    Online index build
    Column encryption
    External directives
    Table level restore
  • 11.10
    MACH 11 (multiple secondary nodes)
    Non blocking checkpoints
    Open Admin Tool
    SQL admin API
    Database scheduler
    Last Committed Read
  • 11.50
    Updatable secondaries
    Connection Manager
    Start of XPS to IDS feature porting
  • 11.70
    Storage provisioning
    Non OS users (mapped users)
    No limit for the number of extents
    On line table reorg
    Several XPS features (multi-index path, star join...)
    Informix warehous accelerator

And then we get to the marketing perspective... This is the fun part. It's a never ending discussion, and I thought it would be interesting to make some comparisons, like for example quotes versus reality. Announcements versus reality. Declarations of intentions versus reality. I browsed the Internet trying to find what people said and thought at the time and since then.

Let's start a few years before:

"I think Informix is doing a great job of marketing. They now get the Sybase marketing award. It's something we have never done a very good job of. Talk to somebody at Sybase or Microsoft and ask them what they think of DataBlades. Everyone thinks it's crazy. It's not that it's a bad idea -- it's madness. And they did not -- they did not -- integrate those two products. They did not, they cannot, they will not, it's impossible.", Larry Ellison, at InfoWorld interview, February 1997

Actually, we now "activate" ("register" in Informix jargon) datablades automatically if the user calls a function that belong to one of them. And we ship several of them for free. One of them (TimeSeries) is used to beat competition on "smart metering". Other (BTS) is used to incorporate open source text indexing technology into Informix.
On the same article, Larry Ellison mentions that Informix had 4 products. Although he apparently only names 3 (and 2 seem to be the same), this was in part true. There was the "OLTP" engine, the "DW" (XPS) and the Universal Server (IUS). These days are gone. XPS does still exists, although some of it's functionality is in IDS. There is no distinction between OLTP and "object" or universal servers.

By the time of the acquisition:

"We've found in the past is that when you're acquiring other products, the integration problem is greater than the value you gain from acquiring the product. This will be an integration nightmare.", Paul Marriott, business development manager for 9I at Oracle, in ARNnet site, on April 2001

Was this opinion taken into account when Oracle bought JD Edwards, Peoplesoft, Siebel, Hyperion, Innobase, BEA, Sun....? I believe not. Maybe they just don't learn from their "mistakes", or this quote was just another FUD statement...

"Surely Oracle is going to pick up a few customers from you though -especially the Informix customers?

JK; I don't think you can make that general a statement. Oracle is trying to give the impression that we are going to tell the Informix customers that they've now got to move to DB2. But obviously we aren't doing that. We acquired the Informix assets because we value them. We aren't going to force a migration on customers and partners that isn't right for them - that makes no business sense at all. We've spoken to the Informix customers and partners and have told them that Informix will be supported and developed for the foreseeable future - and the Informix customers are very happy with this. They appear to like the whole proposition so we certainly don't anticipate losing them to Oracle." , Jim Kelly, IBM's Vice President, Marketing Data Management Solutions Division, in an interview to an analyst from Bloor Research, on July 2001

AFAIK, no customer was forced to move to DB2. Some customers were forced to move, because their application suppliers (SAP for example) discontinued Informix in their latest versions. These customers had the chance to choose the new database platform. Some choose DB2, others Oracle, others SQL Server (or other databases like SAPdb)... Similar statements were produced by different IBM executives at the time of the acquisition and later.

And just for fun:

"But quite frankly if Informix is still being marketed as an
independent product five years from now I'll be shocked.", Daniel Morgan, an Oracle ACE in on June 2001

Hopefully, five or six years after the predicted date, he has already recovered from the shock.

Let's leave the quotes... I'd also like to give you an example of "declarations of intentions vs reality". While working on a project with another IBM product, I felt the need to test something with a competitor (Oracle) database which is used at the customer site. For my purposes the "free edition" was perfectly enough and it allowed me to work on my own environment. I did the download, but after some days I stopped to think about one detail: The current available version of the "free edition" was 10g (launched 4 or 5 years ago). Now... this version is not fully supported anymore (at least without further costs). So I decided to look for a more recent version. Guess what? It' not available. Some more investigation showed me that a new version was made available in April this year, but only for "beta". Now... What on earth is a "beta" version of a free edition?! After all the product should be the same. Only with certain restrictions.
If you want to compare this with the IBM policy for Informix, you'll noticed that the "free edition" is up to date with the latest available fixpack. Do you notice a different behavior here? I do. And I don't think that's because I work for IBM...

On a more personal perspective, from local market, we see that we haven't been loosing customers. More important our customer are very happy with Informix for the well known reasons (reliability, simplicity, robustness, ease of management). This is not marketing. It's a bit hard to point out a true "pure" Informix DBA and I know the biggest installations in my country. We have Informix in some of the biggest retail chains, in the Telcos, in logistics/transportation, in Finance, in central and local administration and in industrial environments. And all of these barely notice that they run Informix. This is a great achievement, but at the same time I feel it's also a downside. Although this is a paradox, I truly believe that a software that has problems may have better chances of success. Why? Because it makes the people who work with it more "visible" when they solve problems.
As an example, in 2010 I was extensively congatulated when I got involved in a critical situation (caused by a sequence of human errors). The issue was escalated to an high level, and after it was solved the appreciation messages and the echos spread across the hierarchical chain. Now... In a normal situation, no problem should have ocurred, and I would still be completely anonymous from a hierachical point of view.
People who manage Informix tend to do other stuff as well and many times they're a bit "invisible". This is not fair since it also means they're doing their job right, but I've seen this happen several times. You probably know the saying... It's better to have "bad publicitly" than no publicity at all...

Now, let's take a look at what changed in Informix (not the new features) since the acquisition:
  • It gained presence in the IBM events like Information on Demand
  • We have monthly webcasts (chat with the labs)
  • We have PIDs (Post Interim Drops) which are cumulative patch updates This means that I rarely ask for a specific patch since most of the time there's a PID with the fix already available
  • We've been seeing major version releases each 1-2 years (2001,2003,2005,2007,2008,2010). And we've been having new fixpacks each 3 or 4 months which include new features
  • We have InfoCenter with the most up to date documentation in an easily searchable interface
  • We still have the PDF documentation for the people who know their ways around the manuals
  • We have better integration with the IBM product porfolio
  • Informix is used as a repository for some of these products (Cognos express, Optim as an option...)
  • Some new features came directly from other products (DB2 for example). Meaning we get improvements with little engineering effort
  • We have a wider range of editions, including a free one
  • We are still innovators, as the recent TimeSeries success stories show. There are new requirements and we're able to fulfill them
  • Informix is a brand inside the IBM Information Management pillar. Remember that at first we were integrated in the "DB2" pillar. Informix is currently on par with DB2, Cognos, Guardium etc.

... And what didn't change:

  • Informix is still light, easy to install and manage
  • Informix is still robust
  • Informix still scales pretty well
  • Informix support is still good (I'm biased, but I talk a lot with customers that have to deal with other vendors support)
  • Customers still like Informix
  • People still complain about the marketing of the product
  • We don't see Informix in the news
  • IIUG is still a great asset for the Informix community

I believe most people reading this who are aware of Informix history may consider I looked only at the bright side, and there is a dark side. Things that were not accomplished or things that become worst since the acquisition. But keep in mind that it's not totally fair to compare what happened inside IBM with what happened before IBM (specially during the "golden years"). A fair comparison would have to be done between what would have happened if IBM had not buy Informix, and that's impossible to tell. Naturally every Informix supporter can think that it should have more visibility inside IBM (this is a general idea we pick from the forums and independent blogs and sites), or that we're lacking better marketing etc.
From my point of view the balance is positive. And I'm looking forward to the 20th anniversary after IBM acquisition. Let's see what happens in the next ten years. Ten years ago I think many people would not expect the evolution we had.

Versão Portuguesa

No dia 2 de Julho de 2001 a IBM anunciou a conclusão da aquisição da Informix. Portanto, passaram 10 anos desde o negócio que mudou a vida de muitas pessoas. Muito foi escrito na altura e desde então sobre o negócio, sobre o futuro do Informix, sobre as reacções da concorrência etc. Este marco histórico fez-me olhar para trás e pensar sobre o que se tem passado. Há várias perspectivas sobre isto: A pessoal, a profissional, a técnica e a de marketing (bem como outras que não me ocorrem de momento).
Pessoalmente, a aquisição aconteceu três anos depois de ter ingressado na Informix Portugal. Na altura já estava bastante envolvido com um cliente Português (grande empresa de telecomunicações) e penso que ganhei uma experiência preciosa desde então. Pertencer à IBM deu-me oportunidade de me envolver com outros produtos (de outras áreas, mas que tocam o mundo das bases de dados), embora o foco fosse e ainda o seja, o Informix. O Informix permitiu-me interagir com várias grandes (da perpectiva de um país pequeno) empresas. Portanto foi uma transição muito positiva. Naturalmente nem tudo é perfeito. Escusado será dizer que o ambiente de uma filial (cerca de 20 pessoas na altura) de uma pequena companhia mundial, não é de todo semelhante ao ambiente de uma grande companhia como é o caso da IBM. Os processos dentro de grandes empresas têm necessariamente de ser mais complexos. Isto é um facto e ninguém poderá fazer nada contra isso.

Do ponto de vista técnico, a evolução do Informix foi incrível. Para os que conhecem Informix, basta que recordem as versões que sairam já dentro da IBM: 9.3 (pequena ou nenhum influência da IBM dado que foi lançada em 2001), 9.4 (2003), 10 (2005), 11.10 (2007), 11.50 (2008) e 11.7 (2010). Já agora, destas apenas a 9.3 não tem qualquer tipo de suporte e a 9.4 e 10 estão num esquema de suporte limitado (mas sem custos adicionais). Há aqui valor e protecção de investimento. Pode comparar isto com o nosso maior concorrente: Lançaram o 9i R1, 9i R2, 10g R1, 10 R2, 11g R1 and 11g R2. Tanto quanto julgo saber, só os últimos dois são suportados sem mais custos adicionais, por isso, mais ou menos o mesmo número de releases e maior número delas suportadas por nós. Nada mal para uma base de dados que como muitos diziam não tinha futuro há dez anos atrás.

Se enumerasse as novas funcionalidades acabaria com mais um artigo muito grande. Mas pelo menos algumas devem ser referidas:
  • 9.3
    ER na linha de produto ORDBMS (9.x)
  • 9.4
    Chunks maiores que 2GB
    ER e HDR ao mesmo tempo
    Autenticação PAM
    B-Tree scanners (em oposição à anterior B-Tree cleaner)
  • 10
    Diferentes tamanhos de página
    Criação de indíces Online
    Encriptação de colunas
    Directivas externas
    Restore de uma tabela a partir de um arquivo
  • 11.10
    MACH 11 (multiplos nós secundários)
    Checkpoints sem bloqueio
    Open Admin Tool
    SQL admin API
    Database scheduler
    Last Committed Read
  • 11.50
    Secundários com possibilidade de alterações (DML)
    Connection Manager
    Início da transposição de funcionalidades do XPS para o IDS
  • 11.70
    Storage provisioning
    Utilizadores não reconhecidos pelo SO (mapped users)
    Eliminação do limite de extents para uma partição
    Reorganização de tabelas Online
    Várias funcionalidades do XPS (multi-index path, star join...)
    Informix Warehouse Accelerator

E agora temos a perspective de marketing.... Este é o aspecto mais divertido. Trata-se de uma discussão sem fim e lembrei-me que seria interessante fazer algumas comparações, como por exemplo citações versus realidade, anúncios versus realidade e declarações de intenções versus realidade. Efectuei umas pesquisas sobre o que as pessoas disseram na altura e desde então.

Comecemos uns anos antes (tradução pessoal. Pode consultar o original nos links):

"Eu penso que a Informix está a fazer grande trabalho de marketing. Eles agora obtêm o prémio de marketing Sybase. É algo em que nós nunca fizemos um bom trabalho. Fale com alguém na Sybase ou Microsoft e pergunte-lhes o que pensam dos Datablades. Toda a gente lhe dirá que é uma loucura. Não é que seja uma má ideia -- é loucura. E eles não -- eles não -- integraram esses dois produtos. Eles não o fizeram, não o podem fazer, não o irão fazer, é impossível.", Larry Ellison, numa entrevista à InfoWorld, em Fevereiro de 1997

Na verdade, nós actualmente "activamos" ("registamos" em linguagem Informix) datablades automaticamente sempre que um utilizador chama uma função que pertence a um deles. E fornecemos vários gratuitamente. Um deles (TimeSeries) é usado para bater a concorrência em "smart metering". Outro (BTS) é usado para incorporar tecnologia de código fonte aberto de indexação de texto, no Informix.
No mesmo artigo, Larry Ellison menciona que o Informix tinha 4 produtos diferentes. Embora aparentemente só refira 3 (e dois parecem ser o mesmo), isto era em parte verdade. Existia o motor "OLTP", o de "DW" (XPS) e o servidor universal (IUS). Esses dias já terminaram. O XPS ainda existe, embora muitas das funcionalidades já estejam no IDS. Não há distinção entre o produto para OLTP e o que na altura era chamado de servidor universal.

Na altura da aquisição:

"Descobrimos no passado que quando adquirimos outros produtos, o problema da integração é maior que o valor ganho pela aquisição do produto. Isto será um pesadelo de integração", Paul Marriott, gestor de desenvolvimento de negócio para o 9I na Oracle, no site ARNnet, em Abril de 2001

Esta opinião foi tida em conta quando a Oracle comprou a JDEdwards, Peoplesoft, Siebel, Hyperion, Innobase, BEA, Sun....? Calculo que não. Talvez não aprendam com os erros ou esta citação tenha sido apenas mais uma a contribuir para o FUD (fear, uncertainty and doubt)...

"Certamente a Oracle irá conseguir obter algums clientes vossos - especialmente clientes Informix?

JK; Não me parece que se possa generalizar essa afirmação. A Oracle está a tentar dar a impressão que nós iremos dizer aos clientes Informix que agora têm de migrar para DB2. Mas obviamente não faremos isso. Adquirimos os bens da Informix porque os valorizamos. Não iremos forçar uma migração em clientes e parceiros que não seja indicada para eles - Isso não faz qualquer sentido em termos de negócio. Temos falado com clientes e parceiros Informix e temos dito que o Informix será suportado e desenvolvido no futuro previsível - e os clientes Informix estão muito contentes com isto. Parecem gostar de toda a proposição de valor e portanto não antecipamos perdê-los para a Oracle", Jim Kelly, IBM's Vice President, Marketing Data Management Solutions Division, numa entrevista a um analista da Bloor Research, em Julho de 2001

Tanto quanto sei, nenhum cliente foi forçado a migrar para DB2. Alguns clientes foram forçados a migrar porque os seus fornecedores aplicacionais (SAP por exemplo) descontinuaram o suporte para Informix nas suas versões mais recentes. Estes clientes tiveram a possibilidade de escolher a nova plataforma para base de dados. Alguns escolheram DB2, outros Oracle e outros SQL Server (ou outras BDs como SAPdb)...
Afirmações semelhantes foram proferidas por outros executivos da IBM na altura da aquisição e após a mesma.

E apenas por brincadeira:

"Mas muito sinceramente, se o Informix ainda for comercializado como um produto independente, daqui a cinco anos ficarei chocado.", Daniel Morgan, um Oracle ACE no em Junho de 2001

Com um pouco de sorte, após cinco ou seis anos depois da data prevista, ele já terá recuperado do choque.

Deixemos as citações... Também gostaria de deixar um exemplo de "declarações de intensões versus realidade". Durante um projecto com outro produto IBM, senti a necessidade de testar algo com uma base de dados da concorrência (Oracle), que é usada no cliente onde decorre o projecto. Para as minhas necessidades, a edição gratuita era perfeitamente suficiente e permitia-me trabalhar mais confortavelmente no meu próprio ambiente. Efectuei o download, mas após alguns dias parei para pensar sobre um detalhe: A versão actualmente disponível da edição gratuita era a 10g (lançada há 4 ou 5 anos). Repare-se... esta versão já nem é totalmente suportada (sem custos adicionais). Por isso decidi procurar a versão mais recente. Adivinhe...? Não está disponível. Alguma investigação mostrou-me que a nova versão foi disponibilizada em Abril deste ano, mas apenas em "beta". Agora... O que diabo é uma versão "beta" de uma edição livre?! Ao fim ao cabo o produto deverá ser o mesmo. Apenas com algumas restrições.
Se compararmos isto com a politica da IBM para o Informix, reparamos que a edição gratuita, está a par com os último fixpack disponibilizado. Nota aqui uma diferença de comportamento? Eu noto e julgo que não é por trabalhar na IBM...

Numa perspectiva mais subjectiva, sobre o mercado local, vemos que não temos perdido clientes. Mais importante, os clientes continuam contentes com o Informix pelas razões bem conhecidas (fiabilidade, simplicidade, robustez e facilidade de gestão). Isto não é marketing. É-me um pouco difícil indicar um verdadeiro e "puro" DBA Informix, e conheço as maiores e mais criticas instalações de Informix no meu País. Temos Informix em grandes cadeias de lojas, nas telecomunicações, em logística e transportes, na área financeira, na administração central e local e na área industrial. E em todos estes sitios mal se apercebem que correm Informix. Isto é um grande feito, mas ao mesmo tempo é um grande problema. Apesar de isto ser um paradoxo, acredito verdadeiramente que um software que cause ou esteja envolvido em problemas tem mais facilidade em ter sucesso. Porquê? Porque faz com que as pessoas que trabalhem com ele se tornem mais "visíveis" quando resolvem problemas. A título de exemplo, em 2010 fui extraordinariamente elogiado pelo envolvimento numa situação complicada (originada por uma sequência de erros humanos). O assunto foi escalado ao mais alto nível e após resolvido surgiram os elogios e os ecos percorreram a cadeia hierarquica. Ora numa situação normal, nada de errado teria acontecido e eu continuaria anónimo para a hierarquia.
Quem gere Informix tende a efectuar uma série de outras tarefas. E tendem a ser "invisíveis". Isto não é justo, pois naturalmente significa que estão a fazer o seu trabalho correctamente, mas já o tenho presenciado inúmeras vezes. Como diz o ditado: "que falem mal, mas que falem"...

Vejamos agora o que mudou (não as novas funcionalidades) desde a aquisição:
  • O Informix ganhou presença nos eventos globais da IBM (como o Information on Demand)
  • Temos webcasts mensais (chat with the labs)
  • Temos PIDs (Post Interim Drops) que são patches cumulativos. Isto significa que raramente peço um patch específico pois na maioria dos casos já existe um PID com a correcção necessária já disponível
  • Temos tido novas versões (major releases) cada 1-2 anos (2001,2003,2005,2007,2008,2010). E temos tido fixpacks cada 3-4 meses, que inclúem novas funcionalidades e não apenas correcções
  • Temos o InfoCenter com a documentação mais actualizada e uma interface que permite a procura fácil de termos
  • Continuamos a ter a documentação em PDF para quem já conhece a sua estrutura e prefere tê-la disponível no computador (ou dispositivo móvel)
  • Temos melhor integração com o portfolio de produtos IBM
  • O Informix é usado como repositório em alguns dos outros produtos IBM (Cognos Express e Optim como opção, ...)
  • Algumas novas funcionalidades vieram directamente de outros produtos (DB2 por exemplo). Isto traduz-se em novas melhorias com pouco esforço de engenharia
  • Temos um leque maior de edições, incluindo uma gratuita
  • Continuamos inovadores, como as recentes histórias de sucesso com o TimeSeries mostram. Existem novos requisitos e somos capazes de os preencher
  • Informix é uma marca dentro do pilar de Information Management da IBM. Recorde-se que de início foi incluído no pilar chamado "DB2". O Informix está actualmente a par do DB2, Cognos, Guardium etc.

... E o que não mudou:

  • Informix ainda é leve, fácil de instalar e gerir
  • Informix ainda é robusto
  • Informix ainda é escalável
  • O suporte Informix ainda é bom (sou suspeito, mas falo muito com clientes que têm de lidar com o suporte de outros vendedores...)
  • Os clientes ainda gostam do Informix
  • As pessoas ainda se queixam do marketing em torno do Informix
  • Continuamos sem ver o Informix nas notícias com frequência
  • O IIUG continua a sem um bem precioso para a comunidade Informix

Acredito que muitas pessoas ao lerem isto, e conhecendo a história do Informix possam considerar que apenas foquei o lado positivo e que existe um lado negro. Pontos que não foram alcançados ou coisas que correm pior desde a aquisição. Mas convém não esquecer que não é totalmente justo comparar o pós aquisição com o pré-aquisição (especialmente durante os "anos dourados"). Uma comparação para ser justa teria de ser feita entre o que se tem passado dentro da IBM com o que se passaria fora da IBM se não tivesse havido a aquisição. Mas isto é pura especulação. Naturalmente todos os apoiantes do Informix pensam que deveria ter mais visibilidade dentro da IBM (ideia recorrente que se percebe nos forums e em blogs e sites externos à IBM), ou que precisamos de mais/melhor marketing. Mas na minha perspectiva o balanço tem sido positivo. E fico expectante pelo 20º aniversário da aquisição. Vamos ver o que acontece nos próximos 10 anos. Há 10 anos atrás penso que muita gente não acreditaria na evolução que o Informix sofreu.

No comments: