Analyse des fichiers journaux avec Screaming Frog
Senior SEO-specialist
De nombreux spécialistes du référencement utilisent Screaming Frog pour les crawls, mais oublient que le programme est également excellent pour l’analyse des fichiers journaux. Cela vous permet de savoir quels sont les moteurs de recherche qui parcourent réellement votre site – et ceux qui ne le font pas. Dans cet article : comment analyser les fichiers journaux avec Screaming Frog, étape par étape.
1. Pourquoi analyser les fichiers journaux ?
Alors qu’une recherche normale montre ce qui est techniquement possible, un fichier journal montre ce que les moteurs de recherche font réellement. Pensez-y :
- Quelles sont les pages visitées par Googlebot ?
- Quelle est la fréquence d’exploration d’un URL particulier ?
- Temps d’exploration et budget d’exploration : qu’est-ce qui est perdu dans les URL non pertinentes ?
- Des redirections, des 404 ou des URL de paramètres sont-ils fréquemment demandés ?
Analyse du journal = réalité. Pas l’intention.
2. De quoi avez-vous besoin ?
Pour analyser les fichiers journaux avec Screaming Frog, vous avez besoin des éléments suivants :
- Un fichier journal compressé ou exporté de votre serveur web (Apache : .log, NGINX : .access.log)
- Ou exporter à partir d’un CDN tel que Cloudflare / Akamai
- Une licence Screaming Frog (l’analyse des logs ne fonctionne que dans la version payante)
Demandez à votre développeur ou à votre hébergeur de vous fournir au moins 7 à 30 jours de données de connexion.
3. Importez le fichier journal dans Screaming Frog
- Ouvrez la grenouille de bénitier
- Allez au mode > Analyseur de fichiers journaux
- Cliquez sur Nouveau projet > Importer des fichiers journaux
- Sélectionnez votre (vos) fichier(s) journal(s)
- Indiquez le domaine que vous souhaitez analyser
L’outil reconnaît automatiquement les agents utilisateurs, les codes de réponse, les codes d’état et les horodatages.
Aan de slag met SEO? Neem gerust contact op.
4. Analysez l’activité de Googlebot
Allez dans l’onglet Bots > Googlebot pour voir :
- Quelles sont les pages les plus visitées
- Codes de statut des visites (200, 301, 404, 5xx)
- Dernière date d’extraction par page
- Distribution par répertoire, sous-domaine ou type de page
Vous pouvez également filtrer d’autres robots : Bingbot, AdsBot, etc.
5. Les informations clés que vous pouvez extraire
| Aperçu | Action |
| Beaucoup de crawl sur les 404 | Définir la redirection ou effacer les pages d’erreur |
| Recherche sur les paramètres des URL | Modifier robots.txt ou définir canonical |
| Les pages importantes ne sont pas visitées | Améliorer ou inclure les liens internes dans le plan du site |
| Crawl sur les URLs dev/test | Exclure via robots.txt ou rendre l’authentification obligatoire |
| Beaucoup de crawl sur les redirections | Nettoyage des chaînes de redirection, promotion des URL finales dans les liens internes |
Vous voulez savoir quelles pages existent mais ne sont pas visitées?
- Effectuez un crawl normal de votre site dans Screaming Frog
- Allez dans l’analyseur de fichiers journaux > Comparez les données du crawl
- Combinez les données d’exploration et de journalisation
- Filtrer par : ‘Crawled in crawl but not in logfile’ → problèmes potentiels de budget de crawl
Cela permet de savoir ce que Google manque ou ignore.
7. Exportation et rapports
Tous les tableaux sont exportables vers Excel/CSV. Utile pour :
- Rapports sur les clients ou les développeurs
- Hiérarchisation des tickets techniques
- Fournir des éléments de preuve dans les discussions sur le budget de l’agriculture
Utilisez l’onglet visuel « Vue d’ensemble » pour obtenir un aperçu rapide de la distribution par code d’état ou par type d’exploration.
En conclusion
L’analyse des fichiers journaux via Screaming Frog vous fournit des données que vous ne verrez nulle part ailleurs : comment Google se déplace réellement sur votre site. Combinez cela avec les données de crawl et vous disposez d’une base puissante pour les décisions techniques de référencement.
