Saturday, October 16, 2010

Panther: Installing.... / Panther: Instalando....

This article is written in English and Portuguese
Este artigo está escrito em Português e Inglês

English version:

Let's start the series by the beginning. The Informix installation method has been changing with some frequency. Panther is not an exception, at least under the covers. From a user perspective it didn't change too much... A bit of history: Why does IBM change this? Many old timers miss the days where we simply unpacked an archive into the destination folder and then run a shell script (Unix/Linux) and that was it. Of course in Windows it was different. And there was no MacOS version... And it was different if you were using version 7.31 or 9+... And some platforms used cpio, others tar (I believe I've seen a cpio with a tar file inside), others RPM.
Ok... Enough. I think I've made IBM point clear... But there's more... You could not choose what to install, or what not to install. And there was no option to automatically create an instance (or when it appeared we could not control it's configuration).

So, the goals of the new installation process are to provide the same feeling across platforms and offer flexibility at the same time, by allowing to customize the installation, choose what to install with greater granularity and allow the user to create a working database instance.
The version 11.1 and 11.5 install method already provided most of this, but people complained about several things. Most noticeable the fact that it used Java for the installation process and it was sensitive to which JRE your system was using. Specially in Linux systems it didn't like the OpenJDK that many of them use. There was an option to use a JRE included in the installer, but some times it was hard to force it to use that one.

All this and some internal presentations I've seen made me curious to test the new installer and I must say I'm pleased with it. It has one problem that I believe is the price to pay for the advantages: The installer takes a large amount of temporary space (~1GB). If this looks too much stay tuned because you can workaround it. Note that this space will be freed at the end of a successful installation. If something goes wrong it will leave info there (so a few unsuccessful installations may lead to lack of space pretty quickly).
The temporary space will be used inside /tmp (Unix and Linux). If it has not enough space it will try the user (who is installing) home directory. Be aware, that if you're running with root this may be the root filesystem which many times doesn't have too much free space. In any case, if you define an environment variable called IATEMPDIR (point it to some directory with enough free space and correct permissions), it will use that location. This is the safest and easiest way to control where it will put the temporary files needed during the installation.

Let's check the installation process:

The software comes in an archived format (.tar, .zip, ...?). So first we need to unpack it into any directory - an install base directory - . After that we need to run one script to install any of the included components (server, client sdk, connect and JDBC driver). We can choose to install in three ways:

  1. Graphic mode
    ./ids_install -i swing
  2. Console mode
    ./ids_install -i console
  3. Silent mode
    ./ids_install -i silent-f PATH_TO_OPTIONS_FILE
For graphic and console mode you can ask the installer to save your options into a file that can later be used for silent installations. And this brings me to an important note: The option to record the options file is -r and it takes an absolute pathname as argument. A relative pathname will not work, and will not raise an error. It just ignores it. So don't forget this. Apparently this is a limitation of the software used to create the installer. Working with absolute pathnames is not a big issue, but the fact that it doesn't warn you if you try to use a relative one can really be annoying.

For the interactive methods, either in GUI or character mode, you'll be asked a few questions:
  1. You must accept the license
  2. If you want a "typical" or "custom" installation
  3. What components you want to install if you choose "custom"
  4. The install location (it will default to $INFORMIXDIR if that is defined in the environment)
  5. If you want to do role separation (and the respective groups if you say yes...)
  6. If you want to create an instance, and if the answer is yes, a few more questions to configure it (space, number of CPUVPs, type of instance - OLTP or DSS -, number of expected clients and a few more)
Then it verifies the free space and proceeds. Easy and quick as usual....
If you choose to install in text mode (-i console), and you choose the custom installation you'll have to choose the components to install. In text mode, this is done after the install present you a list of all the parts you can choose. Note that this list may possibly not fit on your console screen. Be prepared to scroll back (so your terminal program must have some sort of buffer).
Each item and sub-item has a number. To select it (which will turn it on or off depending on current state), you just have to include it's number in a comma separated list of components. This is as convenient as possible in a character mode interface. When you're done choosing the components you just ask it to advance and that's it.

Another option to install the software is to use what we call silent installation (-i silent -f path_name). This is a good way to install the software in big shops. You just setup the options file (or create one during an installation), and then re-use it as many times as you want. With a simple command (./ids_install -i silent -f pathname) you will get a similar installation every time. No questions, no answers, no delays.
You can create a customized version of the option file just by changing three entries in the example file (assuming you want a customized install, with no instance creation and no role separation). The entries you need to change are:
  1. LICENSE_ACCEPTED=FALSE
    This must be changed to LICENSE_ACCEPTED=TRUE (which implies you read and agreed with all the licensing terms)
  2. #USER_INSTALL_DIR=/opt/ibm/informix/11.70
    This one should be uncommented and changed. It will the be install directory (INFORMIXDIR) for the product.
  3. CHOSEN_FEATURE_LIST=IDS,IDS-SVR,IDS-EXT,IDS-EXT-JAVA,IDS-EXT-OPT,IDS-EXT-CNV,IDS-EXT-XML,IDS-DEMO,IDS-ER,IDS-LOAD,IDS-LOAD-ONL,IDS-LOAD-DBL,IDS-LOAD-HPL,IDS-BAR,IDS-BAR-CHK,IDS-BAR-ONBAR,IDS-BAR-ISM,IDS-BAR-TSM,IDS-ADM,IDS-ADM-PERF,IDS-ADM-MON,IDS-ADM-ADT,IDS-ADM-IMPEXP,SDK,SDK-CPP,SDK-CPP-DEMO,SDK-ESQL,SDK-ESQL-DEMO,SDK-ESQL-ACM,SDK-LMI,SDK-ODBC,SDK-ODBC-DEMO,JDBC,GLS,GLS-WEURAM,GLS-EEUR,GLS-CHN,GLS-JPN,GLS-KOR,GLS-OTH
    Ok... I bet you loved this one... Each name separated by commas identifies a component that you can choose not to install. If you want to leave out one of them just remove it from the list. Some of them are easy to understand, but others not so. That's why it's easier to select them during an interactive installation (character or GUI) and save the preferences in a file by using the -r option.
There is one more way to install it, that is not evident from the documentation (although it is documented). If you've been working with Informix for some years you may remind that we used to be able to "install" the software as user informix and after that run a script as root (Unix and Linux). In some situations, where the use of root permissions is very strict you may want to use this method. Personally it's my favorite when I do not have root. This method is documented as a way to "extract" the files. The idea is that you can extract the files into a directory that is similar to the final INFORMIXDIR setup, with the exception that the ownership of the files and the file permissions is not set. It includes a script called RUNasroot.installserver that should be run by root (as the name suggests). This script will do all the necessary chown/chmod commands to correct the file permissions and ownerships. You can copy this full directory (or an archive of it) into other machines and run the mentioned script to complete the installation.
This is called the legacy installation and you can do it by running the command:

./ids_install -i swing|console -DLEGACY=TRUE

If you use this, please don't forget to run the RUNasroot.installserver script after. If you don't, the installation directory will not be a usable INFORMIXDIR. It should be highlighted that after the initial unpack of the files into a directory, you won't require any more temporary space for installation.

So, in short:
  • Everything is installed with the command
    ids_install
  • Can do a console (-i console), a graphical (-i swing) or a silent (-i silent) install
  • Can save a preferences file during a console or graphical install using -r option (full pathname). Can then re-use that file in silent installations with the -f option (full or relative pathname)
  • The install temporary directory is /tmp or the user home directory, but can (should?) be overridden by defining the variable IATEMPDIR (needs around 1GB)
  • You can uncompress the files or install with a non-root user using the option -DLEGACY=TRUE
    After that you'll need to run the script RUNasroot.installserver (as root) to complete the installation (this step is documented, but the installer will not remind you about it...)
I had no issues with the installer and up to now, all the problems I've heard about were all related to installations in non-supported platforms. In many of these cases if the install would work, the product would fail...

I hope this time people will be happy with the install process. There are several options depending on your needs. It's easy for Informix newcomers, and old timers can run with -DLEGACY=TRUE.

If you need to sort all this, we can establish a sort of installation matrix trying to match installation processes with environment conditions:

  • Silent install (-i silent)
    If you have a large number of machines and you want to install it the same way in every machine. Needs root privileges, but can easily be done by system administrators, as long as you provide them the options file
  • Console install (-i console)
    If you don't have a graphical environment or simply prefer character mode interfaces
    Can be used by root or by informix. If run as informix needs that root runs RUNasroot.installserver script
  • Gui install (-i swing)
    If you're new to Informix this is the ideal way. Again, can be used by informix or root.
  • -DLEGACY=TRUE
    This option must be used in console or GUI installations if you're not running as root. You can use it to install the software (requiring RUNasroot.installserver) or simply to create an image of INFORMIXDIR, that can then be copied (simple OS copy) into other systems where you would then just need to run the script RUNasroot.installserver

This article does not cover the installation of other products included in version 11.70 of Informix like Optim Development Studio ou IBM Mashup Center. Hopefully I'll cover these in following articles.


Versão Portuguesa:

Vamos começar esta série de artigos pelo princíipio. O método de instalação do Informix tem mudado com alguma frequência. O Panther não é excepção, pelo menos internamente. Da perspectiva do utilizador não mudou assim tanto... Um pouco de história: Porque é que a IBM muda isto? Muitos dos utilizadores antigos certamente têm saudades dos dias em que simplesmente descompactavamos um arquivo para o directório de destino e depois corríamos um script SHELL (Unix/Linux) e já estava. Claro que no Windows era diferente. E não existia versão para MacOS... E era diferente conforme fosse versão 7.3x ou 9.x... E algumas plataformas usavam cpio, outras tar (creio que cheguei a ver um cpio com um tar lá dentro), outras RPM.
Ok.... Chega. Creio que já tornei a justificação da IBM suficientemente clara... Mas há mais... Não podíamos escolher o que instalar, ou o que não instalar. E não havia opção para criar uma instância automaticamente (ou quando apareceu, não tinhamos controlo sobre a sua configuração).

Portanto, em resumo, os objectivos do novo processo de instalação são fornecer a mesma sensação entre plataformas e oferecer flexibilidade ao mesmo tempo, permitindo que a instalação seja adaptada, escolher o que instalar com maior granularidade e permitir a criação de uma instância funcional de base de dados.
O programa de instalação da versão 11.1 e 11.5 já permitia a maior parte disto, mas os clientes queixavam-se de várias coisas. A mais frequente é que usava Java para o processo e era muito sensível ao JRE que o sistema estava a usar. Especialmente em sistemas Linux, não gostava do OpenJDK que muitos deles usam. Existia uma opção para usar o JRE inscluído no programa de instalação, mas algumas vezes era difícil forçar a sua utilização.

Tudo isto e algumas apresentações internas a que assisti deixaram-me curioso para testar o novo instalador e devo dizer que estou bastante satisfeito com ele. Tem um problema que acredito ser o preço a pagar pelas vantagens: O instalador consome um espaço temporário relativamente grande (~1GB). Se isto lhe parecer demasiado continue atento pois é possível contormar a questão. Note que este espaço será libertado no final de uma instalação bem sucedida. Se alguma coisa correr mal ele vai deixar informação lá (portanto uma sequência de instalações mal sucedidas podem levar a falta de espaço bastante rapidamente).
O espaço temporário será usado em /tmp (Unix e Linux). Se esta localização não tiver espaço suficiente tentará a home directory do utilizador que está a efectuar a instalação. Atenção que se estiver a fazer a instalação como root isto pode ser o root filesystem que muitas vezes não terá muito espaço disponível. Em qualquer caso, se definir uma variável de ambiente chamada IATEMPDIR (apontar para um directório com espaço livre suficiente e com permissões adequadas), o instalador usará essa localização. Esta é a forma mais segura e fácil de controlar onde é que são colocados os ficheiros temporários necessários durante a instalação.

Vejamos o processo de instalação:

O software vem num formato de arquivo (.tar, .zip, ...?). Por isso, primeiro temos de o descompactar para um qualquer directório - directório base de instalação -. Depois é necessário correr um script para instalar qualquer dos componentes incluídos (servidor, client sdk, connect e driver JDBC). Podemos escolher três formas de instalação:

  1. Modo gráfico
    ./ids_install -i swing
  2. Modo de consola
    ./ids_install -i console
  3. Modo silencioso
    ./ids_install -i silent-f PATH_TO_OPTIONS_FILE
Para os modos gráfico e de consola podemos pedir ao instalador que grave as nossas opções para um ficheiro que pode depois ser usado para efectuar instalações em modo silencioso. E isto requer uma chamada de atenção muito importante: A opção que permite gravar as opções em ficheiro é a opção -r e requer como argumento um caminho absoluto para um ficheiro. Um caminho relativo não funcionará, e não gera nenhum erro. Apenas ignora a opção. Não se esqueça disto. Aparentemente isto é uma limitação no produto com o qual foi construido o instalador. Trabalhar com caminhos de ficheiro absolutos não será um grande problema, mas o facto de não ser gerado nenhum erro caso se use um caminho relativo pode ser realmente irritante.

Para os métodos interactivos, seja modo gráfico ou em consola, ser-lhe-ão feitas algumas perguntas:
  1. Terá de aceitar a licença
  2. Se quer uma instalação "típica" ou "personalizada"
  3. Quais os componentes que quer instalar se escolheu "personalizada"
  4. O directório de instalação (usará o que está na variável INFORMIXDIR se estiver definida)
  5. Se quer configurar separação de funções (e caso queira, quais os respectivos grupos...)
  6. Se quer criar uma instância, e caso a resposta seja sim mais umas questões para a configurar (espaço, número de CPUVPs, tipo de instância - OLTP ou DSS -, número esperado de clientes e mais alguns)
Depois verifica o espaço livre e prossegue. Fácil e rápido como habitualmente...
Se escolher o modo de consola (-i console), e escolher a instalação "personalizada", terá de escolher quais os componentes a instalar. Em modo de texto, isto é feito após o instalador apresentar uma lista de todos os elementos que pode escolher. Note que esta lista poderá não caber no écran. Esteja preparado para ter de fazer um pouco de scroll back (portanto o seu programa de terminal deve ter alguma capacidade de guardar as últimas linhas).
Cada item e sub-item tem um número. Para o seleccionar (o que irá activar ou desactivar dependendo do estado actual), terá de incluir o seu número numa lista de números separada por vírgulas.
Isto é tão conveniente quanto possível num interface em modo de caracter. Quando tiver concluído a seleccção basta pedir-lhe que avance e pronto.

Outra opção para instalar o software é o modo silencioso (-i silent -f ficheiro). Esta forma de instalação é adequada a ambientes com muitas máquinas. Basta preparar o ficheiro de opções (ou criá-lo durante uma instalação), e depois re-utilizá-lo as vezes que se queira. Com um comando simples (./ids_install -i silent -f ficheiro) obter-se-á uma instalação semelhante em cada execução. Sem questões, sem respostas, sem demoras.
Pode criar-se uma versão personalizada do ficheiro de opções mudando três opções no ficheiro fornecido como exemplo (assumindo que se quer uma instalação personalizada, sem criação de instância e sem separação de funções). As entradas que é necessário modificar são:
  1. LICENSE_ACCEPTED=FALSE
    Isto tem de ser modificado para LICENSE_ACCEPTED=TRUE (o que pressupõe que leu e concordou com os termos da licença)
  2. #USER_INSTALL_DIR=/opt/ibm/informix/11.70
    Este deve der descomentado e modficado. Será o directório de instalação (INFORMIXDIR) para o produto
  3. CHOSEN_FEATURE_LIST=IDS,IDS-SVR,IDS-EXT,IDS-EXT-JAVA,IDS-EXT-OPT,IDS-EXT-CNV,IDS-EXT-XML,IDS-DEMO,IDS-ER,IDS-LOAD,IDS-LOAD-ONL,IDS-LOAD-DBL,IDS-LOAD-HPL,IDS-BAR,IDS-BAR-CHK,IDS-BAR-ONBAR,IDS-BAR-ISM,IDS-BAR-TSM,IDS-ADM,IDS-ADM-PERF,IDS-ADM-MON,IDS-ADM-ADT,IDS-ADM-IMPEXP,SDK,SDK-CPP,SDK-CPP-DEMO,SDK-ESQL,SDK-ESQL-DEMO,SDK-ESQL-ACM,SDK-LMI,SDK-ODBC,SDK-ODBC-DEMO,JDBC,GLS,GLS-WEURAM,GLS-EEUR,GLS-CHN,GLS-JPN,GLS-KOR,GLS-OTH
    Ok... Calculo que tenha adorado esta... Cada nome separado por vírgulas identifica um componente que pode ser escolhido para instalar. Se não quiser instalar um deles basta removê-lo desta lista. Alguns são fáceis de decifrar mas outros nem tanto. É por isso que é mais fácil seleccioná-los durante uma instalação interactiva (modo caracter ou gráfico) e gravar as escolhas num ficheiro com a opção -r

Existe ainda outra forma de instalação que pode não ser evidente na documentação (apesar de estar lá referida). Se tem trabalhado com Informix há alguns anos, talvez se recorde que era habitual ou possível instalar o software com o utilizador informix e depois correr um script como root (Unix e Linux). Em alguns ambientes, onde o uso de permissões de root é muito restrito, talvez queira utilizar este método. Pessoalmente é o meu favorito quando não tenho acesso a root. Este método está documentado como uma forma de "extrair" os ficheiros. A ideia é que possa extrair os ficheiros para um directório que será semelhante ao INFORMIDIR final, com a excepção que as permissões e titularidade dos ficheiros não está devidamente estabelecida. Esses ficheiros incluém um script chamado RUNasroot.installserver que terá de ser executado como root (tal como o nome indica). Este script fará todos os chown/chmod necessários para corrigir a titularidade e permsissões dos ficheiros. Pode copiar-se este directório completo (ou um arquivo do mesmo) para outras máquinas e correr o script mencionado para completar a instalação.
Isto é a chamada instalação legacy e pode ser feita executando o comando:

./ids_install -i swing|console -DLEGACY=TRUE

Se usar este método não se esqueça de correr o script RUNasroot.installserver. Se não o fizer o directório de instalação não será um INFORMIXDIR válido. Saliente-se que após a colocação inicial dos ficheiros num directório não será mais necessário espaço temporário para a instalação.


Fazendo um resumo:
  • Tudo é instalado com o comando:
    ids_install
  • Pode fazer-se uma instalação em consola (-i console), em modo gráfico (-i swing) ou em modo silencioso (-i silent)
  • Pode gravar-se um ficheiro de opções durante a instalação em consola ou modo gráfico usando a opção -r (caminho absoluto). Pode depois re-utilizar-se o ficheiro em instalações silenciosas com a opção -f (caminho absoluto ou relativo)
  • O directório de instalação é /tmp ou a directoria base do utilizador que instala mas pode (deve-se?) sobrepor definindo a variável IATEMPDIR (precisa de cerca de 1GB)
  • Pode descompactar-se os ficheiros ou instalar com um utilizador não root usando a opção
    -DLEGACY=TRUE
    Depois disto é necessário correr o script RUNasroot.installserver com o utilizador root para completar a instalação (este passo está documentado, mas o instalador não o irá lembrar disso...)

Não tive problemas com o instalador e até agora, todos os problemas que vi referenciados resultaram de tentativas de instalação em plataformas não suportadas. Nestes casos, mesmo que o instalador funcionasse o mais provável era existirem problemas com o produto propriamente dito.

Espero que desta vez as pessoas fiquem satisfeitas com o processo de instalação. Existem várias opções dependendo das suas necessidades. É fácil para recém chegados ao Informix e os utilizadores mais experientes podem sempre usar a opção -DLEGACY=TRUE.

Se precisar de ordenar ideias, podemos estabelecer uma espécie de matriz entre os métodos de instalação e as condições do ambiente:
  • Modo silencioso (-i silent)
    Se tiver um grande número de máquinas e quiser instalar sempre da mesma forma em todas. Requer privilégios de root, mas pode facilmente ser executada pelos administradores de sistema desde que lhes forneça o ficheiro de opções
  • Modo de consola (-i console)
    Se não tiver um ambiente gráfico disponível ou simplesmente se preferir um ambiente de texto
    Pode ser utilizado por root ou por informix. Se executar como informix necessita que o root corra o RUNasroot.installserver
  • Modo gráfico (-i swing)
    Se é novo no Informix esta é a forma ideal. Tal como o anterior pode ser usado como informix ou como root.
  • -DLEGACY=TRUE
    Esta opção pode ser usada em conjunto com os modos gráfico e de consola se não estiver a correr como root.
    Pode usar este formato para instalar o software (requer execução do RUNasroot.installserver) ou simplesmente para criar uma imagem do INFORMIXDIR, que poderá depois ser copiada (cópia simples de SO) para outrous sistemas onde apenas seria necessário executar o RUNasroot.installserver
Este artigo não cobre a instalação de outros produtos fornecidos com a versão 11.70 do Informix como sejam o Optim Development Studio ou o IBM Mashup Center. Espero poder falar disto em artigos seguintes.

1 comment:

Cesar said...

Olá Fernando,

Tive um problema aqui que aparentemente não é possível corrigir durante a instalação. Se tiver alguma dica, agradeço.
No Linux, quando solicitado para criar uma instancia durante a instalação e o hostname da maquina (no /etc/hosts) não aponta para um IP válido, a criação da instancia "trava" porque não consegue conectar.
Isso que fiz a instalação de modo que ele exibi-se os parâmetros utilizado na configuração da instancia.

No meu caso deixo o hostname do meu notebook com um IP fixo de rede 192* que utilizo em casa, aqui no trabalho, deixo que o DHCP trabalhe (sem mexer no meu /etc/hosts) e aqui o IP utilizado é de outra rede.

A configuração da instancia durante a instalação deveria questionar qual hostname deveria ser o listener, ou há como forçar?