Erreur 429 sur Shopify : comment débloquer Screaming Frog

Vous lancez Screaming Frog sur votre boutique Shopify pour faire un audit SEO et, au bout de quelques centaines de pages, tout s’arrête : des lignes rouges « 429 Too Many Requests » partout. Je suis Léopold De Wulf, consultant SEO spécialisé Shopify et propriétaire de boutiques en ligne, et je rencontre ce blocage sur presque toutes les boutiques qui dépassent 300 pages. Après vous avoir montré comment optimiser vos fiches produits SEO et les meilleures applications SEO Shopify, je vais vous expliquer pourquoi Shopify bloque votre crawler et comment crawler votre boutique sans jamais retomber sur une erreur 429.

Voici les trois solutions pour crawler une boutique Shopify de plus de 300 pages sans erreur 429 :

1. Autoriser Screaming Frog avec une signature Web Bot Auth, la méthode officielle de Shopify, gratuite.
2. Utiliser SEO Alpin, qui lit votre boutique via l’API officielle et n’est donc jamais bloqué.
3. Construire votre propre crawler basé sur l’API Shopify, pour les profils techniques.

Pourquoi Shopify bloque votre crawler avec des erreurs 429 ?

Shopify bloque votre crawler parce qu’il envoie trop de requêtes en trop peu de temps et que sa protection anti-robot ne le reconnaît pas comme un robot légitime. Le code 429 « Too Many Requests » est le signal que cette protection vous demande de ralentir.

Pour bien comprendre, comparez le rythme d’un humain et celui de l’outil :

• Un visiteur humain ouvre une page toutes les quelques secondes.
• Screaming Frog ouvre des dizaines de pages par seconde.

Quand la protection de Shopify voit des dizaines de requêtes par seconde venant d’un outil qu’elle ne connaît pas, elle considère que c’est peut-être une attaque et coupe l’accès. D’après mon expérience, ce blocage apparaît surtout au-delà d’environ 300 pages : en dessous, le crawl se termine avant d’atteindre le seuil de sécurité ; au-delà, l’outil sollicite la boutique assez longtemps pour le déclencher.

Point important : d’après la documentation officielle de Shopify, les moteurs de recherche comme Google et les intelligences artificielles sont indexés sans signature, car Shopify les reconnaît comme légitimes. L’erreur 429 ne touche donc que les crawlers que Shopify ne connaît pas encore, comme Screaming Frog par défaut. La solution n’est pas d’abandonner Screaming Frog, mais de le faire reconnaître par Shopify.

Solution 1 : autoriser Screaming Frog avec une signature Web Bot Auth

Shopify a mis en place un système officiel, Web Bot Auth, qui donne à votre crawler un badge d’accès. Ce badge est une signature : une fois collée dans Screaming Frog, Shopify reconnaît votre crawler comme autorisé et arrête de le bloquer. C’est gratuit, déjà intégré à Shopify, et cela se fait en deux étapes.

Étape 1 : créer la signature dans votre admin Shopify

Voici comment créer votre signature Web Bot Auth dans l’admin Shopify :

1. Dans votre admin Shopify, allez dans Boutique en ligne, puis Préférences.
2. Descendez jusqu’à la section Accès des robots d’exploration (Crawler access).
3. Cliquez sur Créer une signature.
4. Donnez-lui un nom (par exemple « Screaming Frog audit »), choisissez le domaine concerné et la durée de validité, trois mois au maximum.
5. Shopify génère alors trois en-têtes : Signature-Input, Signature et Signature-Agent.

[Capture annotée à insérer : la section « Accès des robots d’exploration » et le bouton « Créer une signature » dans l’admin Shopify.]

Attention : copiez chaque valeur avec le bouton « copier ». Ne les retapez jamais à la main : ce sont de longues chaînes cryptées, et un seul caractère faux casse toute l’authentification.

Étape 2 : coller la signature dans Screaming Frog

Voici comment coller la signature Web Bot Auth dans Screaming Frog :

1. Ouvrez Screaming Frog, allez dans Configuration, puis HTTP Header (En-tête HTTP).
2. Ajoutez les trois en-têtes copiés depuis Shopify, avec le nom et la valeur de chacun.
3. Sauvegardez la configuration.
4. Lancez votre crawl normalement.

[Capture annotée à insérer : Configuration > HTTP Header dans Screaming Frog, avec les trois en-têtes collés.]

Astuce : après avoir créé la signature, laissez passer 30 minutes à 1 heure avant de relancer le crawl, le temps que Shopify la prenne en compte, surtout si vous venez de recevoir une rafale de 429.

Réduire la vitesse de crawl si les 429 persistent

Même avec une signature valide, un crawl trop rapide sur une grosse boutique peut laisser des trous dans vos données. Voici comment ralentir un crawl Screaming Frog pour fiabiliser les résultats :

• Dans Screaming Frog, allez dans Configuration, puis Speed (Vitesse).
• Max Threads : 1 ou 2.
• Max URLs per Second : 1.
• Au besoin, ajoutez un délai d’une à deux secondes entre les requêtes.

[Capture annotée à insérer : Configuration > Speed dans Screaming Frog, avec Max Threads et Max URLs/s réglés bas.]

Un crawl plus lent donne des données plus propres et plus complètes.

À retenir : d’après la documentation Shopify, une signature est valable trois mois au maximum et ne se renouvelle pas toute seule. À l’échéance, recréez-en une et mettez à jour les en-têtes dans Screaming Frog. Une signature ne vaut que pour un seul domaine : créez-en une par boutique.

À éviter : usurper l’identité de Googlebot en modifiant le User-Agent pour vous faire passer pour Google. C’est contraire aux bonnes pratiques et désormais inutile, puisque Shopify propose la voie officielle.

Solution 2 : utiliser SEO Alpin (zéro erreur 429, zéro configuration)

La première solution est parfaite si vous tenez à Screaming Frog. Mais pour auditer et optimiser votre SEO sans rien configurer, il y a plus simple.

SEO Alpin ne crawle pas votre vitrine comme un visiteur extérieur. L’application se connecte à votre boutique via l’API officielle de Shopify, la même connexion sécurisée (OAuth) que lorsque vous installez n’importe quelle application Shopify, et lit vos pages, produits, collections et articles directement à la source. Comme elle ne sollicite jamais la vitrine publique, elle n’est jamais soumise à la protection anti-robot : aucune erreur 429, que votre boutique fasse 50 ou 50 000 pages, et rien à configurer.

Pendant qu’elle lit votre boutique via l’API, SEO Alpin :

• détecte votre maillage interne et les opportunités de liens ;
• repère la cannibalisation, c’est-à-dire deux pages qui visent le même mot-clé ;
• trouve le contenu dupliqué ;
• liste les liens cassés et les redirections ;
• remonte vos données SEO (impressions, clics, positions) via la Google Search Console.

Faut-il abandonner Screaming Frog pour autant ? Non : ce sont deux outils complémentaires. Screaming Frog reste excellent pour un audit technique ponctuel de la vitrine telle qu’elle s’affiche (balises, codes de réponse, profondeur de clic), tandis que SEO Alpin est fait pour le suivi SEO continu, sans blocage ni manipulation technique.

Chez Clickroad, c’est l’application que nous avons conçue et que j’utilise tous les jours chez mes clients. Pour creuser le sujet, voyez les meilleures applications SEO Shopify et notre guide du maillage interne Shopify.

[Capture annotée à insérer : tableau de bord SEO Alpin analysant une boutique Shopify via l’API, sans erreur 429. Alt : « Tableau de bord SEO Alpin analysant une boutique Shopify via l’API, sans erreur 429 ».]

Découvrir l’application SEO Alpin

Solution 3 : construire votre propre crawler sur l’API Shopify

Cette solution est réservée aux profils techniques, ou à votre développeur. Le principe est le même que pour SEO Alpin : au lieu de crawler le HTML public de la vitrine, on interroge directement l’API Admin de Shopify.

Voici comment construire votre propre crawler sur l’API Shopify :

1. Vous créez une application personnalisée dans votre admin Shopify et vous récupérez un jeton d’accès (token).
2. Avec ce jeton, vous interrogez l’API Admin GraphQL de Shopify pour récupérer vos produits, collections, pages et articles, avec leurs titres, descriptions et URLs.
3. Vous n’êtes plus soumis au 429 de la vitrine : l’API Admin GraphQL fonctionne avec un système de coût (un budget de requêtes qui se reconstitue à vitesse fixe), et pour les très gros volumes, Shopify propose les Bulk Operations, un export massif en une seule requête.

Bon à savoir : vous pouvez piloter ce crawler en langage naturel en connectant Claude à votre boutique, comme je l’explique dans mon guide pour connecter Shopify à Claude.

Bonnes pratiques et règles de sécurité

Voici les règles de sécurité à respecter pour crawler une boutique Shopify proprement :

• Votre signature est un secret. Elle autorise l’accès à votre vitrine : ne la partagez pas publiquement et ne la déposez pas sur un dépôt de code public.
• Faites tourner la signature tous les trois mois. Elle expire, donc recréez-en une avant l’échéance pour ne pas casser vos audits.
• Une signature pour une boutique. Pas de réutilisation d’un domaine à l’autre.
• Restez raisonnable, même autorisé. Sur une grosse boutique, ralentir le crawl donne des données plus complètes et évite de surcharger le serveur.
• Ne crawlez que vos propres boutiques, ou avec l’autorisation explicite du propriétaire.

FAQ : erreurs 429 sur Shopify

C’est quoi exactement une erreur 429 ?

C’est un code de réponse du web qui signifie « Too Many Requests » : vous avez envoyé trop de requêtes en trop peu de temps, et le serveur vous demande de ralentir. Sur Shopify, c’est la protection anti-robot qui le déclenche.

Pourquoi Google passe mais pas Screaming Frog ?

Parce que Shopify reconnaît Google et les intelligences artificielles comme des robots légitimes et les laisse passer sans signature. Screaming Frog, par défaut, n’est pas connu de Shopify : il faut donc l’autoriser avec une signature Web Bot Auth.

Où créer la signature dans Shopify ?

Dans votre admin : Boutique en ligne, puis Préférences, puis Accès des robots d’exploration, puis Créer une signature. La marche à suivre est détaillée dans la documentation officielle de Shopify.

Est-ce que la signature Web Bot Auth est gratuite ?

Oui. C’est une fonctionnalité intégrée à Shopify, sans surcoût.

Combien de temps dure une signature ?

Trois mois au maximum, et elle ne se renouvelle pas automatiquement. À l’échéance, il faut en créer une nouvelle et mettre à jour les en-têtes dans votre crawler.

Une signature fonctionne-t-elle sur plusieurs boutiques ?

Non. Chaque signature est liée à un seul domaine. Si vous gérez plusieurs boutiques, créez une signature par boutique.

J’ai ajouté la signature mais j’ai encore des 429, pourquoi ?

La cause la plus fréquente est que la prise en compte n’est pas terminée : attendez 30 minutes à 1 heure. Vérifiez ensuite que les trois valeurs ont été copiées sans erreur et que la signature n’a pas expiré ; si tout est correct, ralentissez aussi le crawl, avec 1 thread et 1 URL par seconde.

Faut-il quand même ralentir le crawl avec une signature ?

Sur une petite boutique, non. Sur une grosse boutique de plusieurs milliers de pages, oui : un crawl plus lent donne des résultats plus propres et plus complets.

Conclusion

Une erreur 429 sur Shopify n’est pas un bug : c’est la protection anti-robot de Shopify face à un crawler qu’elle ne reconnaît pas encore. Vous avez trois façons d’y remédier :

• la signature Web Bot Auth si vous tenez à Screaming Frog, officielle et gratuite ;
• SEO Alpin si vous voulez auditer et optimiser sans aucune configuration ni blocage ;
• votre propre crawler sur l’API si vous êtes à l’aise techniquement.

Pour aller plus loin, continuez avec notre guide du maillage interne Shopify, les meilleures applications SEO Shopify, comment augmenter la vitesse de votre boutique et comment optimiser une fiche produit SEO.