seo campus 2016 oncrawl open source log analysis

PowerPoint Presentation

Lanalyse de logs pour tous et gratuitementPar @FrancoisGoube, fondateur @Oncrawl

#seocamp+10 years SEO experienceSerial entrepreneurBusiness AngelMembre du CA SeoCampAdministrateur Frenchtech

Je vous aide A retenir limportant#LogsOnCrawl

Au programmePourquoi faire de lanalyse de logs et surtout pour qui ?Quelles donnes et quels outils pour bien dmarrer lanalyse de logs ?Comment avoir mon propre analyseur de logs sans dbourser un centime ?Etude de casEntrez dans la matrice et voir plus loin que les logs et le crawl.(Jeu et Q&A)

@OnCrawl SEOCAMP 2016

Logs Serveur : Kezako ?

ServeursInternet


A quoi ressemblent des logs ?Un serveur web enregistre toutes les requtes quil reoit. Ce sont les logs serveurs

En gnral:/var/log/httpd sous apache

Ils permettent :Didentifier le trafic SEODe voir ce que fait le GoogleBot


Pour qui ?Pour tous !!!Audit : Diagnostic des pages utiles / inutilesZones que Google crawleZones que Google ne connait pasMonitoring :AlertesSuivi des mise en productions / OptimisationsAttaques


Bien dmarrer sur lanalyse de logsSavoir o sont vos logs et comment y accderSassurer davoir lensemble des logsProcder des tests de compltude et de validit des donnes :Compter les hits de Google et comparer avec la search console

Compter les visites depuis Google et comparer avec Analytics

Attention aux systmes de cache !!!-$ grep Googlebot access.log | wc -l-$ grep google.fr access.log | wc -l


Pourquoi utiliser ses logs ?Know what Google did!Quelles pages sont crawles par Google BotQuelles sont mes pages actives ?Google rencontre-t-il des erreurs ?

Car Google cherche optimiser ses ressources de crawl

Optimisez les ressources de Google vers vos MONEY PAGES


Pourquoi utiliser ses logs ?Savoir ce que Google fait

Pour comprendre limpact SEO


Ne pas attendre un message dans GWTSuivez les status codes en temps relRecevez des alertesContrlez vos MEP

Alertes utiles :Augmentation anormale des 404Baisse du nombre de pages recevant du Trafic SEO


Savoir ce que Google Crawl et PositionneMoins vos pages sont populaires et moins Google les regarde


Quelles pages ont le plus de valeur pour Google ?Dcouvrez vos pages Actives


Quelles pages ont le plus de valeur pour Google ?Google ninterprte pas forcment votre site comme vous le voudriez !


La cl est dans le croisement des donnesA partir des donnes de crawlControl du balisage HTMLQualit des metaAnalyse du contenu (near duplicates, nb de mots)Popularit des pages (Inrank) et des donnes de logs

Vous ouvrez la boite noire de lalgo de Google!Pages orphelinesPages actives / familleZones inconnues de GoogleImpact de vos optimisations sur le GoogleBot


Quels outilsOutils Open SourceKibana Kibana by OncrawlLogalizeGraylogOutils SaaSOncrawl AdvancedLogs.ioKelo.gsQboxAvailable on Github


Et Moi ? Comment fabriquer son Analyseur de logs gratuitement ?

www.oncrawl.com

Les indicateurs de baseNombre de pages uniques crawles par GoogleFrquence de crawl par groupe de pagesMonitoring des status codes (200, 3xx, 4xx,)Nombre de pages actives / inactives

Accrochez vos ceintures !!!


Prenons le cas dun site heberg en MutualisHypothse :Vous avez un site heberg chez OVH Vous avez bien paramtr vos logs pour quils soient distincts par hostNous allons voir Comment rcuprer les fichiers de logs depuis OVH,Crer une machine virtuelle sur votre poste et utiliser Docker,Dployer Oncrawl ELK,Ingrer les logsUtiliser Oncrawl ELK pour analyser vos logs.


Fetch the logs!Ouvrez un navigateur webLoguez vous sur OVHA partir de lOVH Web console, cliquez sur hbergement et sur le nom de domaine que vous souhaitez analyserAccdez vos logs depuis le lien http://logs.ovh.net/YOURDOMAIN/Choisissez une priode dun mois https://logs.ovh.net/YOURDOMAIN/logs-MM-YYYY/Tlchargez chaque journe de logs(e.g. https://logs.ovh.net/YOURDOMAIN/logs-MM-YYYY/YOURDOMAIN-DD-MM-YYYY.log.gz)


Prparez vos logsControlons ce que nous rcuprons dOVH

Nous permet de renommer lensemble des fichiers en .log

Nous permet de lire les 10 premires lignes de logs pour contrle


Utilisons Docker ComposeSetup de Docker

Rcupration des containers Tlchargez OnCrawl ELK, et Dzippez le sur votre machineDans un terminal tapez : Si vous navez jamais utilis Docker, tlcharger ceci :https://www.docker.com/products/docker-toolbox, Et installez Docker Toolbox Suivez ce tutoriel : https://docs.docker.com/mac/step_one/


Up and Running?Si tout va bien, vous devriez avoir ceci

Vous navez plus qu copier les logs rcuprs :

cp path/clean/and/filtered/log/files/my-virtual-host-*.log path/to/oncrawl-elk/logs/apache/

Logstash devrait faire tourner le container oncrawlelk_logstash_1 container, Parser vos logs et les envoyer oncrawlelk_elsaticsearch_1 container.


RDV sur http://localhost:9000


Etude de cas : Exemple de 5 usagesSuivi de la sant de mon siteEtat des lieux de ma structure de siteDtection des problmes de maillage interneImpact SEO de mon contenuTemps de chargement, status codes et Googlebot


Voir plus loin que les logsDtecter des tendances BotsUsersRajouter des donnes businessCA / Panier moyenRevenus pubPenser votre business et vos donnes en remontant de la vente au first click.


www.oncrawl.com

2 mois Pro GratuitsCode : SEOCAMP16MERCI

www.oncrawl.com

3 questionsQuelles sont les deux tests raliser pour sassurer de bien dmarrer avec ses logs ?

Oncrawl Open source log analyzer est un fork de Elastic Search, Logstache et ?

Comment sappelle ce personnage ?


1. CrawlNos robots parcourent votre site comme Google peut le faire et nous rcuprons tout votre code HTML et lensemble des donnes SEO de votre site web. Dcouvrez comment Google interprte votre site web

Votre contact:

[email protected]+33 652 19 97 57

Follow us :

seo campus 2016 oncrawl open source log analysis

Data & Analytics