Qu'est-ce que ELK ?

ELK se compose de Elasticsearch, Logstash et Kibana. Bien qu'ils aient tous été conçus pour fonctionner exceptionnellement bien ensemble, chacun d'entre eux est un projet distinct qui est piloté par le fournisseur de logiciels libres Elastic, qui a commencé comme fournisseur de plate-forme de recherche d'entreprise. Elle est maintenant devenue une entreprise de logiciels d'analyse à service complet, principalement en raison du succès d'ELK. L'adoption à grande échelle d'Elasticsearch pour l'analyse a été le principal moteur de sa popularité.

ELK permet de répondre à la question suivante : « Comment pouvez-vous maintenir des informations commerciales précieuses ? ». ELK est un mariage entre Elasticsearch, qui extrait les données, Logstash qui normalise toutes sortes de données temporelles et Kibana, un outil de visualisation ultra-simple. Grâce à ces 3 projets réunis, ELK est un outil d'analyse complet qui facilite et accélère la recherche et l'analyse de grands ensembles de données.

ELK est très polyvalent. Vous pouvez l’utiliser comme une application autonome ou intégrer vos applications existantes pour obtenir les données les plus récentes. Avec Elasticsearch, vous disposez de toutes les fonctionnalités pour prendre des décisions en temps réel, en tout temps. Vous pouvez utiliser chacun de ces outils séparément ou avec d'autres produits. Par exemple, Kibana va souvent de pair avec Solr/Lucene. Bien qu'aucun de ces projets ne soit un projet de la Fondation Apache, chacun relève de la licence Apache 2. Elasticsearch est propriétaire à la fois de la propriété intellectuelle et des marques de commerce.

Comment fonctionne ELK ?

ELK répond aux questions commerciales suivantes :

Combien de comptes s'inscrivent cette semaine ?
Quelle est l'efficacité de notre campagne publicitaire ?
Quel est le meilleur moment pour effectuer la maintenance du système ?
Pourquoi la performance de ma base de données est-elle lente ?
etc.

Les réponses se trouvent dans les données, mais les données log représentent souvent un univers incohérent, inaccessible et incohérent.

Elasticsearch permet d’extraire efficacement les données à partir de sources de données structurées ou non structurées et de trouver les aiguilles dans les bottes de foin de données en temps réél. Elasticsearch utilise Lucene pour fournir les capacités de recherche en texte intégral les plus puissantes disponibles dans n'importe quel produit open-source.

Logstash est un outil pour la saisie, le traitement et la sortie des données du journal. Cela inclut pratiquement tous les types de journaux que vous gérez : journaux du système, journaux du serveur Web, journaux d'erreurs et journaux des applications. Logstash permet de stocker, d’interroger et d’analyser les logs.

Kibana est votre tableau de bord. Vous obtenez une meilleure prise sur vos grands magasins de données avec des diagrammes circulaires, des diagrammes à barres, des courbes de tendance, des cartes et des diagrammes de dispersion. Vous pouvez visualiser les tendances et les modèles pour des données qui, autrement, seraient extrêmement fastidieuses à lire et à interpréter. Éventuellement, chaque secteur d'activité peut faire un usage pratique de votre collecte de données alors que vous les aidez à personnaliser leurs tableaux de bord. Vous pouvez les sauvegarder, les partager et les associer à vos visualisations de données pour une communication rapide et intelligente.

Architecture ELK

Plateforme Elastic Stack

Lors de l'installation d'Elastic Stack, vous devez utiliser la même version sur l'ensemble de la pile. Par exemple, si vous utilisez Elasticsearch 6.4.0, vous devrez installer Beats 6.4.0, Elasticsearch Hadoop 6.4.0, Kibana 6.4.0 et Logstash 6.4.0.

Prérequis

JDK : ElasticStack embarque sa propre version de java. Plus besoin d'installer ce package.

Spécificités matérielles

Elasticsearch: 3 Servers sous CentOS 8

192.168.1.241 (elasticsearch01.oowy.lan) - 4 CPU / 8 Go RAM / 100 Go HDD
192.168.1.242 (elasticsearch02.oowy.lan) - 4 CPU / 8 Go RAM / 100 Go HDD
192.168.1.243 (elasticsearch03.oowy.lan) - 4 CPU / 8 Go RAM / 100 Go HDD

Logstash: 2 Servers sous CentOS 8

192.168.1.21 (logstash01.oowy.lan) - 4 CPU / 6 Go RAM / 100 Go HDD
192.168.1.22 (logstash02.oowy.lan) - 4 CPU / 6 Go RAM / 100 Go HDD

Kibana: 1 Server sous CentOS 8

192.168.1.10 (kibana.oowy.lan) - 2 CPU / 4 Go RAM / 60 Go HDD

Ordre d'installation

Installez les produits Elastic Stack que vous souhaitez utiliser dans l'ordre suivant:

Elasticsearch
Kibana
Logstash
Beats
Elasticsearch Hadoop

L'installation dans cet ordre garantit que les composants dont dépend chaque produit sont en place.

Versionning

Toutes les versions des packages installés à ce jour sont amenées à évoluer au fil du temps , prenez cela en considération. Les packages sont librement téléchargeables sur le site de l'éditeur Elastic en version basique à cette adresse : https://www.elastic.co/downloads

Voici pour information un tableau regroupant le type de licences proposées par l'editeur et les différences entre elles:

Elasticsearch

Introduction

Il s'agit d'un moteur de recherche et d'analyse distribué, RESTful, capable de résoudre un nombre croissant de cas d'utilisation. En tant que cœur de la pile elasticstack, il stocke vos données de manière centralisée afin que vous puissiez effectuer des recherches approfondies et des analyses de données.

Elasticsearch vous permet d'effectuer et de combiner de nombreux types de recherches - , non structurées, géographiques, métriques .

Elasticsearch est développé en Java et est publié en tant que logiciel libre sous les termes de la licence Apache. Les clients officiels sont disponibles en Java, .NET (C#), Python, Groovy et de nombreux autres langages.

Installation

Connectez-vous à chaque nœud, définissez le nom d'hôte et configurez les dépôts.

Utilisez la commande hostnamectl ci-dessous pour définir le nom d'hôte sur les nœuds respectifs.

[root@localhost ~]# hostnamectl set-hostname "elasticsearch01.oowy.lan"
[root@localhost ~]# exec bash
[root@elasticsearch01 ~]#
[root@localhost ~]# hostnamectl set-hostname "elasticsearch02.oowy.lan"
[root@localhost ~]# exec bash
[root@elasticsearch02 ~]#
[root@localhost ~]# hostnamectl set-hostname "elasticsearch03.oowy.lan"
[root@localhost ~]# exec bash
[root@elasticsearch03 ~]#

Configurer le dépôt de paquets Elasticsearch sur tous les nœuds, créer un fichier “elastic.repo” sous le dossier “/etc/yum.repos.d/” avec le contenu suivant :

~]# vi /etc/yum.repos.d/elastic.repo
...
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

Utilisez la commande rpm sur les trois nœuds pour importer la clé de signature publique d'Elastic

~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

Installez Elasticsearch en utilisant la commande yum sur les trois nœuds

[root@elasticsearch01 ~]# yum install elasticsearch -y
[root@elasticsearch02 ~]# yum install elasticsearch -y
[root@elasticsearch03 ~]# yum install elasticsearch -y

Note:

Si le pare-feu du système d'exploitation est activé et s'exécute dans chaque nœud Elasticsearch, alors autorisez les ports suivants en utilisant la commande : firewall-cmd

~]# firewall-cmd --permanent --add-port=9300/tcp
~]# firewall-cmd --permanent --add-port=9200/tcp
~]# firewall-cmd --reload

Configuration

La configuration d'elasticsearch se concentre principalement sur un seul fichier, /etc/elasticsearch/elasticsearch.yml. Bien que la conf de base soit tout à fait fonctionnelle, nous allons modifier certaines valeurs selon nos besoins.

# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
cluster.name: elk-oowy
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: ${HOSTNAME}
 
...
 
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: 192.168.1.241
#
# Set a custom port for HTTP:
#
http.port: 9200
 
...
 
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
discovery.seed_hosts:
  - 192.168.1.241
  - 192.168.1.242
  - 192.168.1.243
 
cluster.initial_master_nodes:
  - 192.168.1.241
  - 192.168.1.242
  - 192.168.1.243

Note:

Sur chaque nœud, ajoutez le nom d'hôte correct dans le paramètre node.name et l'adresse IP dans le paramètre network.host. Quand aux autres paramètres, ils resteront identique.

Maintenant, démarrez et activez le service Elasticsearch sur les trois nœuds en utilisant la commande systemctl suivante

~]# systemctl daemon-reload
~]# systemctl enable elasticsearch.service
~]# systemctl start elasticsearch.service

Utilisez la commande 'ss' ci-dessous pour vérifier si le nœud elasticsearch commence à écouter sur le port 9200

[root@elasticsearch01 ~]# ss -tunlp | grep 9200
tcp   LISTEN  0       128       [::ffff:192.168.56.40]:9200              *:*     users:(("java",pid=2734,fd=256))

Vérifier le statut du cluster Elasticsearch

Une fois que vous avez lancé le service elasticsearch sur tous les nœuds maîtres, vérifiez l'état du cluster elasticsearch pour l'IP/le nom d'hôte correspondant.

[root@elasticsearch01 ~]# curl  http://elasticsearch01.oowy.lan:9200
{
  "name" : "elasticsearch01.oowy.lan",
  "cluster_name" : "elk-oowy",
  "cluster_uuid" : "5H4bVLwUQ8SZMybV5tYFsA",
  "version" : {
    "number" : "7.6.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
    "build_date" : "2020-03-26T06:34:37.794943Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

État de santé du cluster Elasticsearch

Pour récupérer les informations sur l'état de santé d'un cluster, nous devons exécuter la requête suivante sur le endpoint _cluster.

[root@elasticsearch01 ~]# curl -X GET  http://elasticsearch02.oowy.lan:9200/_cluster/health?pretty
{
  "cluster_name" : "elk-oowy",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 7,
  "active_shards" : 14,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

Détails sur les nœuds du cluster Elastisearch

Le nœud du cluster API _cat/nodes renvoie des informations sur les types de nœuds elasticsearch dans le cluster.

[root@elasticsearch01 ~]# curl -XGET http://elasticsearch01.oowy.lan:9200/_cat/nodes
192.168.1.241 21 71 3 0.47 0.37 0.37 dim - elasticsearch01.oowy.lan
192.168.1.243 66 94 1 0.02 0.09 0.12 dim - elasticsearch03.oowy.lan
192.168.1.242 69 70 3 0.01 0.03 0.07 dim * elasticsearch02.oowy.lan

Ici,

m signifie noeud maître-éligible
d signifie nœud de données
i signifie nœud d'ingestion

Gestion de la mémoire

Le résultat ci-dessus confirme que nous avons réussi à créer un cluster de 3 nœuds Elasticsearch et que le statut de celui-ci est également vert.

Note:

Si vous souhaitez modifier la taille de la JVM, vous devez éditer le fichier “/etc/elasticsearch/jvm.options” et modifier les paramètres ci-dessous en fonction de votre environnement, -Xms1g -Xmx1g

Configurer le file descriptors

Un descripteur de fichier n'est rien d'autre qu'un gestionnaire du fichier attribué par le système d'exploitation. Une fois qu'un fichier est ouvert, un descripteur de fichier, qui est un nombre entier, est attribué au fichier.

En outre, Elasticsearch utilise de nombreux descripteurs de fichiers pour les communications réseau, car les nœuds doivent communiquer entre eux.

Elasticsearch recommande 65536 ou plus.

Vous pouvez soit définir les descripteurs en exécutant la commande suivante en tant que root avant de lancer Elasticsearch :

# ulimit -n 655356

Vous pouvez également fixer la limite de manière permanente en éditant le fichier “/etc/security/limits.conf” et en définissant “nofile” pour l'utilisateur qui exécute Elasticsearch.

elasticsearch  -  nofile  65535

Disable Swapping

Le swap est très mauvais pour les performances, pour la stabilité des nœuds, et devrait être évité à tout prix. Il peut faire en sorte que garbage collections durent quelques minutes au lieu de quelques millisecondes et que les nœuds réagissent lentement ou même se déconnectent du cluster.

Habituellement, Elasticsearch est le seul service fonctionnant sur un boîtier, et son utilisation de la mémoire est contrôlée par les options de la JVM. Il ne devrait pas être nécessaire d'activer la swap.

Pour désactiver la swap.

# swapoff -a

Cela ne nécessite pas de relancer Elasticsearch.

Pour désactiver définitivement le swap, modifiez “/etc/fstab” et commentez/supprimez la ligne qui contient le système de fichiers de type “swap”.

Configure swappiness

Une autre option disponible sur les systèmes Linux est de s'assurer que la valeur “sysctl” “vm.swappiness” est fixée à “1”. Cela réduit la tendance du noyau à échanger et ne devrait pas conduire à l'échange dans des circonstances normales, tout en permettant à l'ensemble du système d'échanger dans des conditions d'urgence.

Logstash

Introduction

Il s'agit d'un pipeline de traitement de données open source, côté serveur, qui ingère des données provenant d'une multitude de sources simultanément, les transforme, puis les envoie à une “réserve” (Elasticsearch, par exemple). Lorsque les données voyagent de la source au magasin, les filtres Logstash analysent chaque événement, identifient les champs nommés pour construire la structure et les transforment pour qu'ils convergent vers un format commun.

Logstash dispose d'une variété de sorties qui vous permettent d'acheminer les données où vous le souhaitez, ce qui vous donne la possibilité de débloquer une série de cas d'utilisation en aval.

Installation

Effectuez les étapes suivantes sur les deux nœuds Logstash,

Connectez-vous aux deux nœuds en définissant le nom d'hôte à l'aide de la commande hostnamectl suivante

[root@localhost ~]# hostnamectl set-hostname "logstash01.oowy.lan"
[root@localhost ~]# exec bash
[root@logstash01 ~]#
[root@localhost ~]# hostnamectl set-hostname "logstash02.oowy.lan"
[root@localhost ~]# exec bash
[root@logstash02 ~]#

Configurer le dépôt de paquets Elasticsearch sur tous les nœuds, créer un fichier “elastic.repo” sous le dossier “/etc/yum.repos.d/” avec le contenu suivant :

~]# vi /etc/yum.repos.d/elastic.repo
...
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

Utilisez la commande rpm sur les trois nœuds pour importer la clé de signature publique d'Elastic

~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

Exécutez la commande yum suivante depuis les deux nœuds pour installer logstash

[root@logstash01 ~]# yum install logstash -y
[root@logstash02 ~]# yum install logstash -y

Configuration

Configurez maintenant logstash, effectuez les étapes suivantes sur les deux nœuds de logstash,

Créez un fichier logstash conf, pour cela nous avons d'abord copié un exemple de fichier logstash sous '/etc/logstash/conf.d/'.

~]# cd /etc/logstash/
~]# cp logstash-sample.conf conf.d/logstash.conf

Editez le fichier conf et mettez à jour le contenu suivant

input {
  beats {
    port => 5044
  }
}
 
output {
  elasticsearch {
    hosts => ["elasticsearch01.oowy.lan:9200", "elasticsearch02.oowy.lan:9200", "elasticsearch03.oowy.lan:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

Dans la section output, dans le paramètre hosts spécifier le FQDN des trois nœuds Elasticsearch, les autres paramètres restent tels quels.

Autoriser le port logstash “5044” dans le pare-feu du système d'exploitation en utilisant la commande suivante firewall-cmd

~]# firewall-cmd --permanent --add-port=5044/tcp
~]# firewall-cmd –reload

Maintenant, démarrez et activez le service Logstash, exécutez les commandes systemctl suivantes sur les deux nœuds

~]# systemctl start logstash
~]# systemctl enable logstash

Utilisez la commande “ss” ci-dessous pour vérifier si le service logstash commence à écouter sur 5044

[root@logstash01 ~]# ss -tunlp | grep 5044
tcp   LISTEN  0       128                          *:5044               *:*      users:(("java",pid=3685,fd=109))

Le résultat ci-dessus confirme que logstash a été installé et configuré avec succès.

Kibana

Introduction

Kibana vous permet de visualiser vos données Elasticsearch et de naviguer dans la pile élastique. Le noyau de Kibana est livré avec des histogrammes, des graphiques linéaires, des diagrammes circulaires, des rafales de soleil, et plus encore. Ils exploitent toutes les capacités d'agrégation d'Elasticsearch.

Les outils de développement de Kibana, comme la console, offrent des moyens de vous aider à développer l'Elastic Stack.

Avec Console, vous pouvez éviter de taper dans le terminal et bricoler avec vos données Elasticsearch en utilisant des fonctionnalités astucieuses comme la complétion de tabulation, un analyseur JSON et la sensibilisation à Elasticsearch et à l'API.

Toutes ces fonctionnalités exploitent les capacités d'agrégation complètes d'Elasticsearch.

Installation

Connectez-vous au nœud Kibana, définissez le nom d'hôte avec la commande hostnamectl

[root@localhost ~]# hostnamectl set-hostname "kibana.oowy.lan"
[root@localhost ~]# exec bash
[root@kibana ~]#

Configurer le dépôt de paquets Elasticsearch sur tous le nœud, créer un fichier “elastic.repo” sous le dossier “/etc/yum.repos.d/” avec le contenu suivant :

[root@kibana ~]# vi /etc/yum.repos.d/elastic.repo
...
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

Utilisez la commande rpm pour importer la clé de signature publique d'Elastic

[root@kibana ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

Installez Kibana en utilisant la commande yum

[root@kibana ~]# yum install kibana -y

Configuration

Configurer Kibana en éditant le fichier “/etc/kibana/kibana.yml”.

# Kibana is served by a back end server. This setting specifies the port to use.
server.port: 5601
 
# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.
# The default is 'localhost', which usually means remote machines will not be able to connect.
# To allow connections from remote users, set this parameter to a non-loopback address.
server.host: "kibana.oowy.lan"
 
...
 
# The Kibana server's name.  This is used for display purposes.
server.name: "kibana.oowy.lan"
 
# The URLs of the Elasticsearch instances to use for all your queries.
elasticsearch.hosts: ["http://192.168.1.241:9200", "http://192.168.1.242:9200", "http://192.168.1.243:9200"]

Démarrer et activer le service kibana

[root@kibana ~]# systemctl start kibana
[root@kibana ~]# systemctl enable kibana

Autoriser le port Kibana '5601' dans le pare-feu.

[root@kibana ~]# firewall-cmd --permanent --add-port=5601/tcp
success
[root@kibana ~]# firewall-cmd --reload
success

Accédez au portail Kibana en utilisant l'URL suivant : http://kibana.oowy.lan:5601

Beats

Introduction

Beats est un ensemble d'expéditeurs de logs open source qui agissent comme des agents installés sur les différents serveurs de votre environnement pour collecter des logs ou des métriques. Écrit en Go, ces agents ont été conçus pour être légers par nature : ils laissent une petite empreinte d'installation, sont efficaces en termes de ressources et fonctionnent sans aucune dépendance.

Les données collectées par les différents beats varient - fichiers journaux dans le cas de Filebeat, données réseau dans le cas de Packetbeat, mesures du système et des services dans le cas de Metricbeat, journaux d'événements Windows dans le cas de Winlogbeat, etc. En plus des beats développés et soutenus par Elastic, il existe également une liste croissante de beats développés par la communauté.

Une fois collectés, vous pouvez configurer votre beats pour envoyer les données soit directement dans Elasticsearch, soit dans Logstash pour un traitement supplémentaire. Certains des beats supportent également le traitement, ce qui permet de décharger Logstash de certaines tâches lourdes dont il est responsable.

Depuis la version 7.0, les beats sont conformes au schéma commun élastique (ECS) introduit au début de l'année 2019. L'ECS vise à faciliter la corrélation entre les sources de données en s'en tenant à un format de champ uniforme.

Les différents types de Beats

Filebeat

Filebeat est utilisé pour la collecte et l'envoi de fichiers journaux. Filebeat peut être installé sur presque tous les systèmes d'exploitation, y compris en tant que conteneur Docker, et est également fourni avec des modules internes pour des plateformes spécifiques telles que Apache, MySQL, Docker et autres, contenant des configurations par défaut et des objets Kibana pour ces plateformes.

Packetbeat

Un analyseur de paquets de réseau, Packetbeat, a été le premier à être introduit. Packetbeat capture le trafic réseau entre les serveurs et peut donc être utilisé pour la surveillance des applications et des performances. Packetbeat peut être installé sur le serveur surveillé ou sur son propre serveur dédié.

Metricbeat

Metricbeat recueille pour diverses mesures au niveau du système pour divers systèmes et plates-formes. Comme Filebeat, Metricbeat prend également en charge des modules internes pour la collecte de statistiques à partir de plateformes spécifiques. Vous pouvez configurer la fréquence à laquelle Metricbeat collecte les métriques et les métriques spécifiques à collecter à l'aide de ces modules et sous-réglages appelés métriques.

Winlogbeat

Winlogbeat n'intéressera que les administrateurs système ou les ingénieurs Windows car il s'agit d'un beat conçu spécifiquement pour la collecte des journaux d'événements Windows. Il peut être utilisé pour analyser les événements de sécurité, les mises à jour installées, etc.

Auditbeat

Auditbeat peut être utilisé pour auditer l'activité des utilisateurs et des processus sur vos serveurs Linux. Comme les autres outils d'audit système traditionnels (systemd, auditd), Auditbeat peut être utilisé pour identifier les failles de sécurité - modifications de fichiers, changements de configuration, comportements malveillants, etc.

Functionbeat

Le Functionbeat est défini comme un expéditeur “sans serveur” qui peut être déployé en tant que fonction pour collecter et expédier des données dans la pile ELK. Conçu pour la surveillance des environnements “cloud”, Functionbeat est actuellement adapté aux configurations Amazon et peut être déployé comme une fonction Lambda Amazon pour collecter des données d'Amazon CloudWatch, Kinesis et SQS.

Installation de Filebeat

Configurer le dépôt de paquets Elasticsearch sur tous le nœud ou l'onsouhaite déployer les filebeats, créer un fichier “elastic.repo” sous le dossier “/etc/yum.repos.d/” avec le contenu suivant :

[root@kibana ~]# vi /etc/yum.repos.d/elastic.repo
...
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

Utilisez la commande rpm pour importer la clé de signature publique d'Elastic

[root@kibana ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

Installez filebeat en utilisant la commande yum

[root@kibana ~]# yum install filebeat -y

Configuration de Filebeat

Configurez maintenant le filebeat de manière à ce qu'il puisse envoyer des logs aux nœuds de logstash en utilisant la technique de répartition de la charge, éditez le fichier “/etc/filebeat/filebeat.yml” et ajoutez les paramètres suivants,

Dans la section “filebeat.inputs :”, changez “enabled : false” en “enabled : true” et sous le paramètre “paths”, indiquez l'emplacement des fichiers journaux que nous pouvons envoyer à logstash.

Dans la section “output Elasticsearch”, commentez “output.elasticsearch” et le paramètre “host”.

Dans la section output de Logstash, supprimer les commentaires pour “output.logstash :” et “hosts :” et ajouter les deux noeuds de logstash dans les paramètres hosts et aussi “loadbalance : true”.

[root@server ~]# vi /etc/filebeat/filebeat.yml
 
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
    - /var/log/dmesg
    - /var/log/maillog
    - /var/log/boot.log
#output.elasticsearch:
  #  hosts: ["localhost:9200"]
 
output.logstash:
    hosts: ["logstash01.oowy.lan:5044", "logstash02.oowy.lan:5044"]
    loadbalance: true

Démarrer et activer le service filebeat en utilisant les commandes systemctl

[root@server ~]# systemctl start filebeat
[root@server ~]# systemctl enable  filebeat

Allez maintenant à l'interface graphique de Kibana, vérifiez si de nouveaux indices sont visibles ou non.

Choisissez l'option “Management” dans la barre de gauche, puis cliquez sur “Index Management” sous “Elasticsearch”, les indices sont normalement visibles. Nous allons créer un modèle d'indice.

Cliquez sur “Index Patterns” de la section Kibana, il nous sera demandé de créer un nouveau “pattern”, cliquez sur “Create Index Pattern” et spécifiez le nom du modèle comme “filebeat”.

Choisissez “Timestamp” comme filtre pour le modèle d'index et cliquez ensuite sur “Create index pattern”.

Cliquez maintenant sur “Discover” pour voir le modèle d'index de filebeat en temps réel.

Cela confirme que l'agent Filebeat a été configuré avec succès et que nous sommes en mesure de voir les journaux en temps réel sur le tableau de bord de Kibana.

Annexe

https://www.elastic.co/fr/

https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation.html

https://www.elastic.co/guide/en/beats/libbeat/current/beats-reference.html

https://www.elastic.co/fr/blog/cross-datacenter-replication-with-elasticsearch-cross-cluster-replication

Table des matières

Qu'est-ce que ELK ?

Comment fonctionne ELK ?

Architecture ELK

Plateforme Elastic Stack

Prérequis

Spécificités matérielles

Ordre d'installation

Versionning

Elasticsearch

Introduction

Installation

Configuration

Vérifier le statut du cluster Elasticsearch

État de santé du cluster Elasticsearch

Détails sur les nœuds du cluster Elastisearch

Gestion de la mémoire

Configurer le file descriptors

Disable Swapping

Configure swappiness

Logstash

Introduction

Installation

Configuration

Kibana

Introduction

Installation

Configuration

Beats

Introduction

Les différents types de Beats

Filebeat

Packetbeat

Metricbeat

Winlogbeat

Auditbeat

Functionbeat

Installation de Filebeat

Configuration de Filebeat

Annexe