Cloud replay and more... / Apresentação da cloud e mais...

Review the Informix on cloud presentation, announcement, tips and something more (original version here: http://informix-technology.blogspot.com/2016/09/cloud-replay-and-more-apresentacao-da.html)


English version
Last Monday we had the webcast about the new Informix on Cloud offering. For those who couldn't attend the live conference, the webcast replay is available in the following address:
http://event.on24.com/wcc/r/1180944/97874EAFB7BAA6C10771A1D273B6BCEA

The official announcement can be found here (EMEA):
http://www-01.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi/rep_ca/9/877/ENUSZP16-0499/index.html&lang=en&request_locale=en

The slides for from the presentation were uploaded to slideshare.net:
http://bit.ly/2d6wqq7

The actual service can be accessed here:
https://console.ng.bluemix.net/catalog/services/informix-on-cloud/

 The main characteristics of this offering are:

• Users will have full (root) access and will be responsible for managing a Linux server (CentOS)
• Informix advanced Enterprise Edition will be installed and Informix Warehouse Accelerator will be included (not configured)
• There will be 4 sizes of server with different resources (CPU, Memory, DISK, Network)
• The server will be available through public Interner access. It can be configured by the users to participate in a VPN for example
• No managing, monitoring or backing up services are currently offered. This can change in the future, but currently the customer has total freedom to implement whatever best fits their requirements
• It works as if a server was rented in the cloud and the customer used their Informix licenses but of course that's not necessary as customers are charged on a monthly base that includes everything, including product support

The lack of backup services is relative issue. IBM and other vendors have several methods for storage use in the cloud. Some solutions could be considered.
Actually something that I personally find interesting is the possibility to run backups to the cloud. Currently Informix already supports it for Amazon S3. But the implementation seems a bit too simplistic. Something I've been trying as an exercise seems more interesting and with a bit more potential: Our backup tool, onbar, interacts with the Storage managers using a standard and open protocol called XBSA. It's possible to create a XBSA library that sends the objects to the cloud. Just a few hours ago I managed to make my first restore  from a previous backup sent to the cloud. It took me less than a week of free time to create this. It currently has less than 1000 lines of codes written by me. And yes, it's incomplete, doesn't have proper error handling or debugging, doesn't manage metadata or an object catalog etc. But it clearly shows it could be a path to cloud storage use for database backups. Additionally some cloud services (like IBM's Bluemix Object Storage) use a standard called SWIFT which makes it relatively easy to support several cloud providers if the library can be configured externally. Hopefully in the future I'll be able to write an article dedicated to this proof of concept.

Versão Portuguesa
Na passada segunda-feira tivemos o webcast sobre a nova oferta de Informix na nuvem. Para quem não pôde assistir em direto, a gravação da conferência está disponível no seguinte endereço:
http://event.on24.com/wcc/r/1180944/97874EAFB7BAA6C10771A1D273B6BCEA

O anúncio oficial pode ser encontrado em (EMEA):
http://www-01.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi/rep_ca/9/877/ENUSZP16-0499/index.html&lang=en&request_locale=en

Os slides da apresentação foram carregados no slideshare.net:
http://bit.ly/2d6wqq7

O serviço propriamente dito pode ser encontrado aqui:
https://console.ng.bluemix.net/catalog/services/informix-on-cloud/

As características principais do serviço são:

• Os utilizadores terão acesso total (root), e serão responsáveis pela gestão de um servidor Linux  (CentOS)
• A edição Advanced Enterprise do Informix estará instalada e o Informix Warehouse Accelerator estará disponível para configuração
• Existem 4 tamanhos para os servidores com diferentes recursos (CPU, memória, disco e rede)
• O servidor estará acessível pela Internet pública. Poderá ser configurado pelos utilizadores para fazer parte de uma VPN
• Não são oferecidos serviços de gestão, monitorização ou backup. Estes aspectos poderão vir a ser alterados no futuro, mas neste momento os clientes têm total liberdade para implementar o que quer que seja que complete o que é oferecido agora, conforme as suas necessidades
• Funciona como se o cliente alugasse um servidor na nuvem e usasse as suas prórpias licenças, embora isso não seja obviamente necessário visto que o serviço é facturado numa base mensal que inclúi a utilização e o suporte do produto

A falta de um serviço de backup é um problema relativo. Tanto a IBM como outros fornecedores têm disponíveis vários métodos de utilização de armazenamento na nuvem. Poderão ser consideradas algumas soluções.
Na verdade, algo que eu pessoalmente acho interessante é a possibilidade de executar backups para a nuvem. O Informix já disponibiliza essa funcionalidade para o serviço S3 da Amazon. Mas a implementação parece um pouco simplista ou limitada (usa o ontape). Algo que tenho estado a testar como exercício parece-me mais interessante e com mais potencial. A nossa ferramenta de backup, o onbar, interage com os storage managers utilizando um protocolo aberto e standards chamado XBSA. É possível criar uma biblioteca XBSA que envie os objetos para a nuvem. Há apenas algumas horas atrás consegui fazer o primeiro restore a partir de um backup para a nuvem. Levei menos de uma semana de ocupação de tempos livres a criar isto. Neste momento tem menos de 1000 linhas de código escrito por mim. E sim, não tem gestão de erros adequada, ou debugging, não gere metadata nem possuí um catálogo de objetos etc. Mas serve para mostrar claramente que este poderia ser um caminho para integração de backups com a nuvem. Por acréscimo, alguns dos serviços de armazenamento na nuvem (como o Object Storage no IBM Bluemix) utilizam um standard chamado  SWIFT . o que tornaria mais fácil suportar vários serviços desde que a biblioteca pudesse ser configurada externamente. Espero no futuro conseguir fazer um artigo dedicado apenas a este tema

Informix is everywhere / O Informix está em todo o lado

This article is written in Englsih and Portuguese (original version here)
Este artigo está escrito em Inglês e Português (versão original aqui)


English version:
Do you remember the funny video "Informix is everywhere"? It was created several years ago (2007) and it made fun with the fact that Informix is said to be everywhere, but nobody can see it:

Today I had the same feeling when I've found out that informix is accessed by a public web application from a major company in Portugal. But that's not all... I just notice an article on DeveloperWorks, explaining how to use an IBM bluemix service called "TimeSeries Database". The application is created using Node.js and the data can be accessed through MongoDB API and REST interfaces. Would you link these concepts with Informix? Probably not. The author didn't related them, but that's normal because IBM provides a "service" that you can build apps with... And you'll never have to "manage" the database... So why would you car which database is in there? Well... if you're curious, check this link: https://www.ng.bluemix.net/docs/#services/TimeSeries/index.html#timeseriesdatabase
That's right... It's our favorite database... If you now check some features in the latest fixpacks they'll make a lot more sense! But you know that IBM as a company doesn't promote individual products... lucky me that I'm not IBM... I just work for it :)

Versão Portuguesa:
Lembra-se de um vídeo engraçado chamado "Informix is everywhere" ("O Informix está em todo o lado"? Foi criado há uns anos (2007) e gozava com o facto de se dizer que o Informix estaria em todo o lado, mas ninguém o via:

Hoje tive a mesma sensação ao saber que o Informix é acedido por uma aplicação web pública de uma empresa muito conhecida em Portugal. Mas não foi só isso... Acabei de ver um artigo no DeveloperWorks, que explica como usar o serviço no IBM Blumix, chamado TimeSeries Dataabase
A aplicação é criada usando Node.js e os dados poderiam ser acedidos via MongoDB API ou REST interface. Ligaria estes conceitos com o Informix? Provavelmente não. O autor não os relacionou, mas isso é normal pois a IBM fornece um "serviço" com o qual pode criar aplicações... Nunca terá de gerir a base de dados... Assim sendo, porque se preocuparia com o tipo de base de dados que é? Bom... se for curioso consulte este link: : https://www.ng.bluemix.net/docs/#services/TimeSeries/index.html#timeseriesdatabase
Exatamente... É a sua base de dados favorita... Se voltar a ver algumas funcionalidades introduzidas nos últimos fixpacks agora fazem muito mais sentido! Mas como se sabe a IBM como empresa não promove produtos específicos... Sorte a minha que não sou a IBM... Apenas lá trabalho :)

So many things on the Internet / Tantas coisas na Internet

This article is written in Englsih and Portuguese (original version here)
Este artigo está escrito em Inglês e Português (versão original aqui)



English version
If you've been paying attention, you'll easily recognize that the "Internet Of Things" or #IoT is "the" buzzword of the moment. You can follow the links to learn more about it, but in a very short summary, the hype is created because there are estimations that by 2020 we will have 26B devices (note that there are around 7B people on the planet and unfortunately many of them don't use any electronic device) connected to the Internet. Why? Many of these devices will be generating data that needs to be processed. How? The devices tend to be connected, and the "cloud" seems to be the future in terms of all this data processing. This data can be related to the following uses among many others:

• Location based services
• Home automation
• Smarter planet/cities initiatives like air quality monitoring, traffic control, security etc.
• Weather measurements
• Supply chain related (logistics)
• Fitness data
• Smart meters
• Sensors of all kinds

Well... this is great... apart from the expected privacy and security questions (which are already present today) it may help us improve the resource usage and quality of life,besides helping us to interact in ways that our grandfathers couldn't dream off. But what this has to do with Informix you may ask? Lets not be innocent. All this hype and buzz means business opportunities. And IBM and it's partners are very aware of this. And all this data generation and processing requires quality IT systems. Some relevant areas are:

• Cloud usage
• Embedded systems
• Spatial capabilities
• Timeseries data

Sounds familiar? Informix is very strong (not to say unique) in all these aspects. And if you check the recent improvements you'll see that's one of the focus for Informix R&D.
Let's check each of them:

1. Cloud usage
   Informix provides some of the database services in IBM Bluemix. The unique capabilities of autonomics, low maintenance, the new multi-tenancy features and many other "small" improvements we can see in the recent fixpacks
2. Embedded systems
   I recently noticed we can now get regular access to the ARM (if you're not aware of Arm you probably have several of these processors around you, in your SmartPhone, Tablets etc.) port which was announced a few fixpacks ago. We're probably the first major commercial RDBMS product that runs on ARM (DB2, Oracle, SQL Server, Sybase etc. don't). If this was not enough, we're working on the port to Intel Quark as you can see from recent Intel blog post and the video from it's developer conference (around minute 37). Why are these ports important? Because it allows embedded systems developers to use a full featured commercial database with very reach capabilities like TimeSeries and Spatial on really little and low power consumption boards like the Intel Galileo, Cubieboard 2+ and many others (take a look at Shaspa gateway device)
3. Spatial capabilities
   Hopefully you know that Informix ships with a free Spatial Datablade that allows the storage and processing of geographical data. In 12.10.xC3 we improved it by allowing Great Circle Calculations and coordinate transformations between different DATA (or maps). In other words this means we can operate on angular coordinates, which allows exact calculations on the round earth model. Previously we only supported 2D maps.
4. TimeSeries capabilities
   Another Informix datablade that ships with our product allow the efficient storage and processing of TimeSeries data. And many of the IoT data is TimeSeries data. Regular measures from smart meters or sensors. Regular coordinate capture to allow vehicle tracking... One company that has been receiving a lot of attention from developers and analysts is TempoDB, the company behind the database with the same name. This database "only" provides TimeSeries data services on the cloud... something we can do with Informix besides all the regular SQL and traditional RDBMS features. And again, in recent fixpacks we've introduce several "discrete" features around these capabilities

So, if you're on to these sort of things keep an eye on the several social networks because the stream of information about this topics is immense. And keep in mind that your favorite database in right in the middle of this revolution.

Versão Portuguesa
Se tem estado atento, facilmente reconhecerá que a "Internet das coisas" ou #IoT é "o" "chavão" do momento. Pode seguir os links para aprender mais, mas num resumo muito rápido, o burburinho nasceu porque  se estima que em 2020 haverá 26B de dispositivos (note que há "apenas" cerca de 7B de pessoas no planeta e infelizmente a muitas delas não têm acesso a qualquer dispositivo eletrónico) ligados à Internet. Porquê? Muitos destes dispositivos estarão a gerar dados que carecem de ser processados. Como? Os dispositivos tenderão a estar ligados e a "nuvem" parece ser o futuro para o processamento da maioria destes dados. Estes dados poderão estar relacionados com estas utilizações, entre outras:

• Serviços baseados em localização
• Domótica
• Planeta/cidades inteligentes em iniciativas relacionadas por exemplo com a qualidade do ar ou a gestão de tráfego
• Medições meteorológicas
• Mercado de retalho (logística)
• Dados relacionados com atividade física lúdica
• Contadores inteligentes
• Sensores de todos os tipos

Bom... tudo isto parece ótimo... Fora as questões de privacidade e segurança (que já se colocam hoje), pode ajudar-nos a gerir melhor os recursos e melhorar a qualidade de vida, para além de nos permitir interagir de formas que os nossos avós nem poderiam sonhar. Mas o que é que isto tudo tem que ver com o Informix, poderá perguntar? Não sejamos inocentes. Todo este burburinho traduz-se em oportunidades de negócio. E a IBM e os seus parceiros estão bem cientes disto. Todo este aumento de dados e  necessidades de processamento requerem sistemas de TI de qualidade e bem pensados.  Algumas áreas relevantes são:

• Utilização em "nuvem"
• Sistemas embebidos
• Capacidades geo-espaciais
• Dados "timeseries"

Soa-lhe familiar?O Informix é muito forte (para não dizer único) em todos estes aspetos. E se verificar as melhorias recentes verá que estes têm feito parte do foco da I&D do Informix
Vejamos caso a caso:

1. Utilização em "nuvem"
   O Informix fornece alguns dos serviços de base de dados do IBM Bluemix. As suas capacidades únicas de auto-gestão, baixa manutenção, as novas funcionalidades de multi-tenancy" e muitas outras "pequenas" melhorias que podemos encontrar em fixpacksi recentes
2. Sistemas embebidos
   Reparei recentemente que podemos aceder agora à versão para  ARM (se não sabe o que é o Arm, saiba que deve ter vários destes processadores à sua volta no smartphone, no tablet etc.) que foi anunciada à alguns fixpacks atrás. Somos a primeira base de dados comercial que corre em ARM (o DB2, Oracle, SQL Server, Sybase etc. não correm). E se isto não fosse suficiente, estamos a trabalhar na versão para Intel Quark como pode verificar num artigo recente num blog da Intel e num vídeo da sua conferência de desenvolvedores (cerca do minuto 37). Porque é que estas versões são importantes? Porque permitem que os programadores de sistemas embebidos utilizem uam base de dados comercial com todas as funcionalidades esperadas mais algumas especiais como o TimeSeries e Spatial em sistemas realmente pequenos e de baixo consumo, como as placas  Intel Galileo, Cubieboard 2+ e muitas outras (dê uma espreitadela ao Shaspa gateway device)
3. Funcionalidades geo-espaciais
   Espero que saiba que o Informix incluí um módulo Spatial DataBlade gratuito que permite o armazenamento e processamento de informação geográfica. Na versão 12.10.xC3 melhorámos-lo permitindo cálculos habitualmente designados por Great Circle, e transformações de coordenadas entre diferentes DATA (ou mapas). Noutras palavras isto significa que podemos operar em coordenadas angulares (e não apenas coordenadas projetadas) o que permite cálculos sobre o modelo de terra redonda (e não apenas plana). Anteriormente apenas suportávamos os cálculos em 2D (permitindo no entanto armazenar os dados 3D)
4. Funcionalidades TimeSeries
   Outro datablade suportado pelo Informix e fornecido gratuitamente, permite o armazenamento e tratamento mais eficiente de dados timeseries. E muitos dos dados relacionados com o conceito de IoT são dados deste tipo. Medidas regulares de contadores inteligentes ou sensores. Envio regular de coordenadas para fazer o seguimento de veículos etc. Uma empresa que tem chamado a atenção de analistas e desenvolvedores é a TempoDB, empresa por detrás da base de dados com o mesmo nome. Esta base de dados "apenas" fornece serviços timeseries na "nuvem"... Algo que podemos fazer com o Informix, em conjunto com a utilização de todas as outras funcionalidades SQL habituais em qualquer RDBMS estabelecido no mercado. E mais uma fez nos fixpacks mais recentes temos introduzido funcionalidades "discretas" que vão ao encontro destas necessidades

Portanto, se se interessa por estes temas, mantenha-se atento às várias redes sociais pois tem havido um fluxo crescente de informação relacionada com estes temas. E lembre-se que a sua base de dados favorita está bem no meio desta revolução.