HDF - Installation du cluster

Connectez-vous au cluster: http://hdf-ha01.oowy.fr:8080/

Une fois connecté, vous devriez arriver sur la page suivante:

Pour commencer a créer votre cluster, cliquez sur “Launch install wizard”.
Le premier écran vous demande un nom de cluster, ici nous avons choisi “HDF_POC”:

L'écran suivant vous propose plusieurs stack disponible, choisissez la version du mpack précédemment installé.
Ici, il s'agit de la version HDF 3.4.1.1.
Sélectionnez “Use Local Repository”.

Plus bas, toutes les distributions supportés sont présentes, supprimer toutes les distributions pour ne garder que “Redhat 7”.
Le fait de choisir Redhat 7 est valable pour notre distribution, la Centos.

Cochez la case “Skip Repository Base URL validation (Advanced)”, dans le cas ou vous utiliseriez un repository que vous auriez synchroniser localement.
Dans le cas contraire, vous n'êtes pas obligé de cocher cette case.

Saisissez les URL des repository demandés, HDF 3.4 et HDP-UTILS-1.1.0.22.

HDF-3.4 : http://public-repo-1.hortonworks.com/HDF/centos7/3.x/updates/3.4.1.1
HDP-UTILS-1.1.0.22 : http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7

Une fois terminé, cliquez sur “Next”.

Dans l'écran suivant, vous avez un warning vous avertissant des prérequis nécessaires a exécuter si vous ne choisissez pas une installation par SSH.
Ce qui est notre cas ! Nous avons en effet choisi d'installer manuellement les agent Ambari qui communiquerons avec Ambari-Server.

Renseignez les FQDNs complets des différentes machines qui formeront votre cluster.
Puis cliquer sur “Register and Confirm”.

Un nouveau message d'avertissement vous avertie d'installer au préalable les agents Ambari sur l'ensemble de vos machines.
Cliquez sur “OK”.

L'enregistrement des machines commence et une analyse de celle-ci sont exécutés.

Une fois l'enregistrement fait, Ambari-Server effectue un contrôle des problèmes potentiel qu'ils pourraient y avoir sur les différents noeuds.
Patienter le temps que celui-ci termine et vous affiche le résultat.

Une fois la vérification terminé, celui-ci vous affiche un lien ou vous pouvez consulter les différents points qu'il a vérifié.
Si des problèmes sont remontés, vous pourrez ainsi avoir le détail et éventuellement les corrigés.
Dans notre cas, aucun problème n'est remontés, vous pouvez donc continuer l'installation en cliquant sur “Next”.

Dans l'écran suivant, tous les services installables sont par défaut sélectionnez.
Vous pouvez décocher les services que vous souhaitez où tout garder à votre convenance.
Des services comme Logsearch ne sont pas sélectionner par défaut étant donné qu'il s'agit d'une Techpreview.

Dans notre cas et afin d'illustrer l'installation de chaque produit avec chacune de ses configurations spécifiques, nous avons décider de ne garder que le strict minimum pour l'initialisation de base du cluster.
Ceux-ci étant Ambari-Metrics et Zookeeper.
Smartsense est un service de base qu'il n'est pas possible de décocher, mais nous verrons plus tard comment le supprimer.
Cliquez sur “Next” pour passer à la suite.

Un nouvel avertissement apparaît pour vous signaler de l'importance de Ranger et de son installation.
Comme indiqué plus haut, nous l'installerons plus tard, nous pouvons donc continuer en cliquant sur “Proceed Anyway”.

Dans l'écran suivant, nous devons définir ou placer nos différents services a installer sur chaque machines disponibles.
Rappellez vous que nous avions préalablement définis les services pour chacune des machines, pour rappel (uniquement avec les services en cours d'installation):

hdf-ha01.oowy.fr (Ambari-server, Infra Solr, Grafana, Smartsense)
hdf-hf01.oowy.fr (ZooKeeper Server)
hdf-hf02.oowy.fr (ZooKeeper Server)
hdf-hf03.oowy.fr (ZooKeeper Server)

Une fois l'attribution des services sur les différents noeuds validés, vous devez assigner les “slaves” et les “clients” aux différents noeuds.
Ici, il s'agit des clients zookeeper.
Une fois définis les noeuds sur lesquels les installés, cliquez sur “Next”:

Ici, nous commençons la configuration de chacun des services qui seront installés, on aura une première partie de configuration synthétique a définir puis viendras a la fin, dans “All Configurations”, la configuration complète des services a installer. Cette dernière partie comporteras parfois plusieurs points d'attention suivants les services sélectionnés.

Dans cette écran, on doit définir les credentials pour Grafana et l'utilisateur qui sert pour Smartsense.

Une fois les mot de passe saisie, cliquez sur “Next”:

Dans cette écran, nous devons définir certains dossiers pour chaque service.
Ici, on commence par Zookeeper, pour le dossier contenant les données, nous avons créer un dossier “/hadoop”, la recommandation est de le créer dans un FS dédiée. De même, le dossier des données de Zookeeper se trouvera dans un FS dédiée, celui-ci sera “/hadoop/zookeeper”.
Pour les “Logs” et le “PID”, les dossier par défaut sont très bien, inutile donc de les changer. Cliquez sur “Next” pour continuer.

Nous passons ensuite a Ambari-Metrics, ici nous avons plusieurs dossier a modifier en prenant soin de garder la même norme précédente (FS dédiée, chaque service ayant son propre dossier).
Voici un petit récap des dossier a modifier:

Aggregator checkpoint directory : /hadoop/ambari-metrics-collector/checkpoint
Metrics Grafana data dir : /hadoop/ambari-metrics-grafana
HBase root directory : file:///hadoop/ambari-metrics-collector/hbase
HBase tmp directory : /hadoop/ambari-metrics-collector/hbase-tmp

Dans cette écran, nous devons définir les comptes de service qui vont être utilisés. Si vous vous souvenez bien, les comptes sont gérées dans un Free-IPA et ceux-ci doivent avoir été créer au préalable.
De plus, afin d'éviter qu'Ambari crée ses comptes lors de l'installation, il faut décocher les cases à cocher et cocher uniquement “Skip group modifications during install”.
Puis renseigner les différents comptes associés a chacun de vos services, puis cliquez sur “Next”.

Nous arrivons a la dernière partie, la plus importante, qui est la reprise de l'intégralité des configurations pour chaque service installés.
Il est important ici de revoir les modifications enregistrés précédemment, mais aussi d'en apporter parfois de nouvelles corrections.
Nous ne préciserons que les modifications qui auront été apportés a cette étape, le reste concernant juste une revue des configurations.

Ici, nous devons modifier les dossiers pour Smartsense, car c'est une option qui ne nous a pas été proposé a l'étape concernant Smartsense. Ici, il est inutile de définir un FS dédiée, le service Smartsense étant destiné a être supprimé, cela a aura l'avantage d'éviter d'avoir une création de dossier lors de l'installation qui ne sera pas utiliser au finale.
Une fois le service supprimer, nous pourrons alors supprimer les dossiers que nous aurons défini ici dans le FS “/hadoop”.

Une fois la revue des configurations effectués, vous pouvez désormais déployer les services et initialiser le cluster, pour cela cliquer sur “Deploy”.

L'initialisation des tâches commence, une fois terminé, l’exécution des différentes tâches d'installation démarre.

Une fois l'installation terminé (en principe sans erreur, auquel cas il faudra regarder précisément le message d'erreur remonté en regard de la machine qui n'a pas réussi a exécuter une tâche d'installation, corrigé le problème et relancer l'installation), vous pouvez cliquer sur “Next” pour avoir un résumé de l'installation.

L'installation terminé, vous avez un résumé ainsi que le temps d'exécution de l'installation qui ici aura été de 23 minutes.

Cliquez sur “Complete” pour arriver sur le dashboard principal de votre nouveau cluster.