chapitre2 prise en_main_kibana

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Comme nous l’avons vu dans le chapitre 1, Kibana est l’outil principal permettant l’analyse des logs.

Le cours qui va suivre porte sur la version 3 de Kibana, sachant qu’une version 4 apportant des améliorations fera son apparition prochainement.

Mais pas de panique, l’approche contextuelle reste bien entendu la même.

Kibana

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Kibana, Concepts de base :

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Onglet General :

Title : le titre du panel dans le dashboard.Span : La largeur du panel dans le dashboard,

Cocher la propriété Editable revient à rendre le panel modifiable.Inspect revient à autoriser la consultation du code source associé au panel.

Panel Histogram : Configuration

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Onglet PanelValues : fonctions de regroupement des données : count, max, min, mean, totalTransform Series : intervalle en s, afficher la dérivée (Derivative) de la courbe et

prendre en compte les zeros (Zero fill)Time Options : - Le champ qui doit être pris en compte pour l’échelle

- La Timezone qui correspond à celle du navigateur ou UTC- Le paramétrage de l’échelle de temps auto ou pas- La Résolution en nombre d’enregistrements verticaux

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Onglet StyleChart Options : Présentation par Bars, Lines ou Points de l’histogramme.

xAxis et Yaxis pour l’affichage en abscisse et ordonnée. Selectable permet de rendre consultable une partie

de l’histogram.Y Format : None, short ou bytes

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Multiple Series : Stack permet de cumuler les séries sur un même histogramme.On peut alors faire le choix d’exprimer les valeurs soit par dénombrement (Stack), soit par pourcentage d’une série par rapport au total des séries représentées. ( Cumulative ou Individual)

Header / Legend: Header : Activer le bouton Zoom sur l’histogramme.View permet de créer un raccourci pour la mise en forme de l’histogrammeLegend : Legend permet d’afficher la légende. S’il n’y a pas de légende, on peut afficher la requête correspondante grâce au champ Query.Counts permet de comptabiliser le nombre d’entrées pour chaque type d’enregistrement de

l’histogramme.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Grid : Min / Max : Permet de gérer l’échelle au niveau des valeurs min et max (valeur numérique)

Recommandé : Laisser en Auto, pour des changements dynamiques.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Histogram : Bars

Panel Histogram : Lines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Onglet General :

Title : le titre du panel dans le dashboard.Span : La largeur du panel dans le dashboard,

Cocher la propriété Editable revient à rendre le panel modifiable.Inspect revient à autoriser la consultation du code source associé au panel.

Panel Table : Configuration

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Terms mode :Field : Le champ sur lequel porte la TableLenght: Le nombre de lignes de la TableOrder: Count, ordre alphabétiqueExclude: Permet d’ignorer les enregistrements du champ concerné qui est renseigner dans Field et dont le libellé correspond à la valeur saisie.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Table :

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Page globale Kibana 3 : -Query : Permet de fixer les éléments à considérer dans l’analyse

Peut etre un rang, une valeur numérique, une chaine de caractèresCritères multiples possibles

-Filtering : Permet de mettre en place des critères de tri des données : -MUST / MUST NOT -Porte sur un champ-Porte sur la valeur d’un champ, un intervalle de valeurs-Possibilité de filtres multiples

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Chaque dashboard est constitué de rows.Ces rows se présentent comme ci-contre (ici sous leur forme la plus réduite au nombre de 6).Chaque row va pouvoir mettre en avant des critères d’analyse via des panels.

On peut ajouter facilement une row grâce au boutonIl suffit ensuite d’ajouter simplement le nom d’une ligne et sa taille (Cf page suivante).

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

En cliquant sur , on peut visualiser les différentes lignes, les organiser et en ajouter une tout simplement à droite du panneau de visualisation comme expliqué précédemment.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configurer une ligne de dashboard :

Une fois la ligne créée, il faut la configurer : panels, etc…Pour cela, chaque ligne dispose à partir de sa création un micro panneau latéral comme ci-dessous :

Collapse Raw : Réduit la ligne au minimum comme vu précédemment (uniquement le nom).Configure Raw : Utile pour réordonner des panels, en ajouter, définir leur taille.Add Panel : Raccourci pour la même fonctionnalité que l’ajout dans l’option Configure Raw.

Il suffit ensuite de créer des panels en suivant les explications pour chaque type de panel.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configuration générale d’un dashboard :

La configuration se fait par le menu en haut à droite du dashboard :

On y retrouve :-l’intervalle de temps pour lequel on veut les données.-Un bouton Refresh.-Bouton d’accueil du portail Kibana.-Bouton Load pour accéder aux dashboards d’un même portail.-Bouton Save pour sauvegarder les modifications-Bouton Share pour partager un dashboard via URL.-Bouton principal : Configure Dashboard

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure dashboard: Onglet General

- Titre du dashboard- Style graphique : Dark/White- Editable : A cocher pour autoriser les modifications du dashboard- Hints permet l’affichage d’une suggestion d’ajout de panneau aux

emplacements vides.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure dashboard: Onglet Index

- Default Index : Alias du Dashboard

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure dashboard: Onglet Index

- Propriétés de sauvegarde : export, navigateur ou encore Elasticsearch- Propriétés d’upload via fichier, ou Elasticsearch- Propriétés de partage : Durée durant laquelle le partage est actif

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure dashboard: Onglet Timepicker

- Options d’intervalle pour analyse ( ne dois pas dépasser la rétention des logs)

- Paramétrage de l’auto-refresh du dashboard pour visualiser les nouvelles données (ne pas le mettre trop court pour des volumes importants)

- Champ sur lequel porte les critères de temps (par défaut @timestamp). Le modifier uniquement si un changement de variable a été effectué.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure dashboard: Gestion des échelles

L’option Scale permet de gérer la mise à une échelle. Ici on divise par 1000 les valeurs pour avoir des valeurs plus significatives en ordonnée. On passe donc d’un maximum de 6000 ms à 6s.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure dashboard: Gestion des échelles

Le fait de passer l’option YFormat en type Short va permettre un autre type de simplifications des graphiques : Elle va permettre d’afficher les ordonnées en format simplifié. Exemple ici, 15 000 se transforme en 15 K.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.Style : Bars, pie, list, totalLegend : Position de la légendeList Format : Horizontal ou VerticalQueries : choix habituel

Panel Hits : Configuration

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Hits : Bars Panel Hits : Pie

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.Style : Bars, pie, tableLegend : Position de la légendeLegend Format : Horizontal ou VerticalQueries : choix habituel

Panel Terms : Configuration

Terms_mode: Terms ou Terms_statsField : Le champ que l’on souhaite traiterOrder : Count, Term ou inverséOn peux également exclure des termes que l’on ne veut pas voir apparaître, séparés par une virgule. (Exclude Terms)

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Terms : Pie Panel Terms : Bars Panel Terms : Table

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.Queries : choix habituel

Panel Bettermap: Configuration

Coordinate Field : geoip.location Tooltip Field : Le champ qui est mis en valeur lorsque l’on place le pointeur de la souris.Max Points : Le nombre de points à prendre en compte. Le fixer au nombre d’enregistrements (nombre de hits).

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Bettermap

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.

Panel Text : Configuration

Mode : Text, HTML, Markdown (langage de balise semblable à HTML)Content : Le texte que l’on souhaite saisir.

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Text

NB : Possibilité d’insérer des liens href, etc …

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.Style : Bars, pie, tableLegend : Position de la légendeLegend Format : Horizontal ou VerticalQueries : choix habituel

Panel Map : Configuration

Field : Le champ sur lequel porte la synthèse du panel Max : Le nombre de valeurs que l’on souhaite prendre en compteMap : Le choix du planisphère : Monde, Europe et USA

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Map

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.

Panel Trends : Configuration

Time Ago: Délai pour la mise en place de l’échelleFont Size : Taille de la police d’écritureList Format : Format de la liste (vertical ou horizontal)Reverse Colors : Inversion des couleurs rouge et vert (uniquement pour aspect graphique)

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Trends

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Configure Dashboard

Histogram

Terms

Table

Bettermap

Hits

Text

Trends

Map

Sparklines

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.

Panel Sparklines: Configuration

Chart Value : Count, Term ou inverséTime Field : Le champ que l’on souhaite traiterDerivative : Afficher la dérivée ou affichage classique

Log Processing ElasticsearchChapitre 2 : Prise en main de Kibana 3QUERY FILTERING

Panel Sparklines