Exercice difficile : exprimer sa déception à un éditeur, tout en essayant de l’encourager. Voilà en substance ma délicate position après avoir essayé le crawler Botify. J’aurai pu ne pas en faire un billet, après tout, des outils décevants il y en a souvent, mais Botify est un cas un peu particulier. Beaucoup de retours très positifs m’ont mis en haleine, conjugué à l’effet « french touch », enfin… développé par une boite française mais interface en anglais uniquement… passons.
Le fait est que « Botify » en a fait languir plus d’un, moi le premier. On a frôlé l’arlésienne ! Plus d’un an 1/2 de teasing, avec des features alléchantes… J’avais personnellement beaucoup d’attente sur cet outil. Déjà parce que tout bon SEO se doit d’avoir un vrai crawler pour bosser ; c’est in-dis-pen-sable. Et comme tout bon SEO, il faut avoir l’œil sur les tools, être curieux, les tester, essayer de trouver mieux que ce que l’on a pour améliorer sans cesse ses audits et sa productivité.
Incubé en agence, le crawler Botify arrive donc sur le marché affichant des prétentions clairement ambitieuses et professionnelles.
J’avais déjà évoqué Botify par le passé, sur mon billet Netlinking : A la recherche de l’outil idéal. C’était en janvier 2013. A l’époque, l’accroche commerciale était très attractive et aguicheuse : jugez plutôt :
« Simuler les moteurs de recherche » Ca faisait envie… En comparaison, je trouve l’approche marketing actuelle beaucoup plus discrète et sobre.
Autrefois, j’utilisais Xenu, le crawler gratuit, mais aussi très limité. Mais ça c’était avant, quand j’étais SEO du dimanche avec des oursins plein les poches. Puis j’ai fait mes classes avec des bouses comme website auditor pour finalement découvrir Screaming Frog il y a quelques années. C’est devenu l’outil central de mes audits « on site », mon couteau Suisse. Pourtant si quelque chose de mieux arrive sur le marché, je suis prêt à lui faire des infidélités. A mon sens, Botify devrait mettre la barre plus haute pour le détrôner, surtout avec un pricing plus élevé. Logique non ?
Je prendrai donc Screaming Frog SEO Spider comme challenger à Botify pour appuyer mes propos parce que c’est celui que je connais le mieux. D’autres crawlers existent sur le marché comme sitecondor.com, peut-être encore plus proche de Botify que SF, mais voilà, je n’ai pas encore eu le temps de l’essayer.
Let’s crawl !
SaaS vs desktop : 2 supports, 2 biz models radicalement différents
Si Botify et Screaming Frog sont très proches dans leurs fonctionnalités, les supports ne sont pas du tout les mêmes. Botify est donc un service SaaS (Software as a Service), où tout se fait via le navigateur web. On est à l’époque du cloud computing, c’est très pratique, données accessibles partout, c’est très bien. Botify comme beaucoup d’autres services IT et SEM suit la tendance.
Le côté irritant avec les versions SaaS, c’est que cela induit un modèle économique bien différent. Les ressources requises pour faire tourner le crawler (ip, bande passante, stockage, calcul etc) ne dépendent plus de votre ordinateur, mais des serveurs de la société éditrice. Du coup, plus vous multipliez les projets, surtout si ils augmentent en envergure, plus vous consommez de ressources, et vous devinez la suite… plus vous aurez besoin de mettre la main à la poche ;-) Ce modèle économique m’a souvent refroidit, surtout quand une solution équivalente comme Screaming Frog existe à côté en version desktop, non limitée en ressource, et sans palier tarifaire. Mais certainement que Botify a eu de bonnes raisons de s’orienter vers du SaaS (techno, contraintes, etc.) autre que pécuniaires.
Le setup du crawl
Le premier contact avec Botify se fait logiquement avec le paramétrage du projet, et du site à crawler… Ca me chagrine un peu de le dire, mais ça commence mal :'(
Je m’explique : aucun paramètre de filtrage ni regex pour exclure certaines catégories d’URLs du crawl, ni le choix de respecter ou non les attributs nofollow, les noindex, le robots.txt etc. Non, sur Botify pas possible contrairement à Screaming Frog. D’abord tu crawl, après tu filtres ! Sauf que dans la réalité une grosse partie des sites que j’analyse sont des gouffres à crawl avec des moteurs de recherche internes dont les pages de résultats ne sont pas en noindex. Des sites de 1000 URLs peuvent passer comme ça à 50000 URLs voir plus ! Avec Botify le crawler bouffe tout, sans chercher à comprendre… et comme le biz modèle repose sur le nombre d’URLs, vous devinez facilement où est le problème.
Avec screaming Frog, pas de limite (sauf bien sûr celle de votre machine) et il est tout à fait possible d’exclure des URLs en amont. Cette possibilité est nécessaire pour obtenir des statistiques fiables et non parasitées sur le site à analyser. L’idéal étant de pouvoir générer plusieurs crawls différents pour un même site, sur certaines branches en particulier, avec ou sans urls inutiles etc. Si on veut faire ça avec Botify, on grignote inévitablement sur son forfait. Ha, au passage, ne pas confondre exclure en amont, et filtrer en aval !
Méthode de validation
Vous ne pouvez crawler rapidement un site que si vous avez la main dessus, sinon, c’est régime escargot à 1 page/s max. Bon, le fait de demander à mes clients d’intégrer un code sur leur site (avec la signature botify) n’est pas forcément quelque chose de très appréciable, mais passons. Ce qui me gêne beaucoup plus en revanche, c’est que cette règle (en plus du pricing) dissuade de faire des crawl sur n’importe quel site, laissant beaucoup moins de latitudes. Là encore avec Screaming Frog, c’est no limit.
Allez, j’arrête de faire mon aigri de service, je lance le crawl…
L’interface
Les gars de chez Botify ont bien bossé. C’est clair et épuré, tendance flat design, interface en tuile avec de l’Ajax partout, j’aime. D’ailleurs y a-t-il un rapport avec le nom « Botify » ? Du splash screen de l’accueil du site à l’interface de l’outil, on a l’impression que la présentation devient le fer de lance.
Botify est scindé en deux interface distinctes : la partie « report » avec les graphiques, et la partie « URL explorer » sans doute la plus intéressante car elle permet de trier et filtrer un peu comme on veut (ou presque), le choix de critères étant vaste. Même les regex sont de la partie, chouette !
Un petit mot sur les suggested patterns : en voilà une bonne idée ! Le principe est de fournir les typologies d’urls concernées par tel ou tel facteur SEO.
C’est clairement un plus qui aide à la compréhension et améliore la lisibilité.
L’ensemble de l’interface est vraiment bien foutue, simple et accessible. Mais mon avis personnel (et quelque peu rabat-joie) est que le look & feel pour un crawler, ça m’en touche une sans faire bouger l’autre, même si ça flatte l’oeil, je me dis que la valeur ajoutée devrait être ailleurs.
Côté Screaming Frog, c’est la fête à l’austérité. Il n’est pas là pour amuser la rétine. Interface java, des colonnes, des menus déroulants classiques, mais le tout très fonctionnel. C’est peut-être aussi pour ça que j’affectionne ce tool : il ne se concentre que sur l’essentiel : la collecte des datas.
Another one bites the DUST
Je suis un peu sadique, je n’ai pas choisi n’importe quel site pour tester Botify. En plus d’avoir des urls parasitées par les modules de recherches internes, le site génère beaucoup de DUST, un grand classique dans les sites mal optimisés. Pour info, DUST = Duplicate Url Same Text. Cela arrive très souvent avec des scripts d’url rewriting codés avec les pieds. L’idée est donc de voir comment Botify peut repérer ces DUST, voir les gérer. Sur ce point, je reste clairement sur ma faim.
Sur Screaming Frog, chaque page se voit attribuer un « hash » (checksum). Si x URLs ont un contenu strictement unique (DUST), alors le hash sera le même pour chaque page. C’est redoutable d’efficacité pour la détection du DUST. Sur Botify y’a pas. Qu’on ne vienne surtout pas me dire qu’il est possible de détecter les DUST en faisant ressortir les balises title en doublon, ce n’est clairement pas la bonne méthode, car très souvent on a des balises title identiques pour des contenus différents. Spécial dédicace au passage au SEO « connu », qui a conseillé sur twitter de repérer le DUST avec les balises title en doublon sur Xenu : c’est de l’amateurisme.
Botify devrait à minima détecter les DUST comme il faut. Si ils veulent se démarquer et surpasser leurs concurrents, pourquoi ne pas implanter la fonction suivante :
- Si rel canonical absent, regrouper les DUST en cluster en fonction des inlinks (fake canonical).
- Si rel canonical présent, regrouper les DUST en cluster avec l’url canonique.
Il faudrait aussi que cette fonction soit de bas niveau (je ne sais pas si c’est le terme le plus approprié), pour que l’ensemble des stats (reports) qui en découlent prennent en compte (ou pas) le filtrage des DUST. Si l’objectif d’un crawler SEO, est d’avoir une meilleure visibilité sur la structure d’un site, alors il faut essayer de voir le plus loin possible. L’idée que je me fais d’un bon crawler, c’est aussi de pouvoir comparer 2 types de crawl avec des règles de filtrage différentes et de se dire par exemple « voilà à quoi ressemblera la structure de ce site une fois les URLs inutiles éradiquées ».
Autres fonctionnalités manquant à l’appel, ou perfectibles
Cette partie peut constituer une liste de suggestions, pas forcément de reproches.
Pas de module spécifique aux images
Le site qui m’a permis de réaliser ce test avait mis dans son robots.txt un disallow sur /img/ pour tout ce qui est fichiers graphiques d’interface. Hélas, Botify est respectueux des directives contenues dans le robots.txt, et il est impossible de passer outre. Du coup, aucun metrics (alt/title/poids/taille/filetype) sur ces images.
Plus gênant, dans les rapports, je n’ai rien trouvé de spécifique aux images. Par exemple, impossible de dresser la liste des balises img avec alt manquant. La seule manière d’obtenir des infos sur les images ou autre type de fichiers qui ne soient pas des pages, c’est de passer par l’url explorer.
Analyse du linking interne
Je n’ai pas trouvé non plus de fonction me permanentant d’exporter (csv) la table complète du linking interne, chose que fait très bien Screaming Frog.
D’autre part, lors de mon précédent billet sur la recherche de l’outil idéal, j’avais émis un souhait pour un truc qu’aucun crawler ne fait : repérer (par syntaxe x-path) d’où proviennent chaque liens : dans un paragraphe « in-text », dans un menu de navigation, dans un footer… C’est super important pour le linking interne, mais l’idée n’a manifestement pas été retenue, peut-être trop compliqué à implanter.
Les exports CSV
Fonction indispensable à tous les outils SEO orientés collecte de données : pouvoir exporter les listes en fichier CSV. Sur Botify il y en a partout, et c’est très bien ! :) Seul hic que l’on retrouve généralement sur d’autres tools, c’est que l’export transforme tous les caractères spéciaux et accentués, obligeant à un post-traitement du fichier CSV. Peut-être que la solution passe par un enregistrement du CSV en UTF8 ?
Les limites de l’URL explorer
Ce module permet de filtrer les pages dans tous les sens. Mais sauf erreur de ma part, on est contraint de faire des recherches sur des éléments spécifiques (title, url, meta…) mais si on veut faire ressortir toutes les pages ayant un rel publisher par exemple, c’est mort :-/ Idem si on veut faire des recherches de chaines de caractères dans le contenu, ce n’est pas possible. Avec screaming frog, j’utilise beaucoup les filtre customs pour filtrer les pages avec iframe, celles ne contenant pas de tag Google analytics, la présence de rel author ou publisher, rel next/prev etc.
Pas de gestion des langues et régions
Bon, je m’avance peut-être un peu, mais à mon avis un bon crawler doit pouvoir gérer les attributs rel alternate et hreflang, devenus fondamentaux dans la gestion des sites multilingues, regrouper les urls par régions, par langue, voir les deux, tout en jonglant avec le rel canonical… chaud ! Mais y’a certainement un truc à faire là !
Pas de mode « list »
Un des gros atouts de Screaming Frog, est qu’en plus du mode « spider » classic, le mode « list » permet de soumettre une liste d’urls pour en récupérer les datas comme le ferait le crawler. Je vous laisse imaginer les possibilités combiné avec un tool comme RDDZ scraper par exemple, faire des recherches de 404, monitorer des backlinks…
Sur Botify, rien. Pas la moindre possibilité de soumettre une liste d’url. C’est là encore une fonction qui fait cruellement défaut.
Pas d’intégration d’API externes
Une des tendances actuelle dans les outils SEO est d’agréger les metrics de différents outils via leurs API respectives. Ce serait extra si Botify pouvait associer les votes sociaux aux pages crawlées, le nombre de BL, checker le taux de duplicate, un indice de popularité…
Pas de détection du near duplicate
Une fonction basique qui pourrait être sacrément utile : calculer le taux de similarité des pages pour mieux apprécier le « near duplicate ». Combiné avec un mode « list », on pourrait ainsi détecter les spuns, les plus mauvais au moins…
Je pourrai encore allonger la liste des améliorations à apporter (ou des lacunes c’est selon), comme la non prise en compte des données structurées, l’impossibilité de générer des sitemap.xml, pas d’API etc.
En conclusion
Vous penserez surement que je suis très sévère vis à vis de Botify. Mais il faut relativiser : objectivement, c’est un bon crawler, pas le meilleur certes, et avec quelques défauts de jeunesse. Un SEO qui veut un outil pratique, facile à prendre en main générant des rapports y trouvera certainement son compte, surtout si il n’a connu que Xenu. Il conviendra également aux réfractaires qui n’ont jamais eu le courage d’apprendre à trier/classer/filtrer/recouper sous Excel.
En revanche pour les SEO qui utilisaient déjà des outils « pros » comme Screaming Frog, et dont le volume de clients nécessite beaucoup de crawls, je doute que Botify puisse prendre des parts de marché sur ce segment. Il manque à Botify des fonctions inédites dont on ne puisse se passer, surtout pour être plus productif. Si je devais résumer en deux mots le crawler Botify, au jour d’aujourd’hui, ce serait : « trop basique ». Ou alors il y a un problème de pricing.
Screaming Frog reste donc pour le moment mon crawler fétiche, qui couplé avec une bonne utilisation d’Excel, constitue le combo magique de l’analyse « on site ». Je resterai néanmoins attentif à l’évolution de Botify, car je sens bien la volonté de l’équipe d’améliorer l’outil, et je ne demande qu’à le réessayer une fois qu’il sera plus « mature », et me laisser convaincre.
Salut Aurélien;
Le choix de comparer Botify à Screaming Frog est intéressant. Pas que je pense que les 2 soient comparables, mais parce que toi tu le penses. :)
Y’aurait beaucoup à commenter sur ton test, je vais me concentrer sur l’essentiel.
Quand tu utilises Screaming Frog, tu obtiens un listing.
Quand tu utilises SeeUrank ou Botify, tu obtiens des indicateurs. Ils ont été choisis, avec les avantages et inconvénients que cela comporte.
Je n’argumente pas plus, mon propos n’est pas de défendre mon steack ou celui de Botify. Mais au final, la question est : est-ce que la majorité des SEO feront un meilleur audit avec SeeUrank/Botify ou avec Screamming Frog/RDDZ ?
@Lionel : Ta question peut faire l’objet d’un long et intéressant débat. Je serai bien incapable de te dire si la majorité des SEO produisent un travail plus qualitatif et performant avec tel ou tel outil car on sait tous que l’outil ne sera JAMAIS un palliatif à la matière grise nécessaire. Mais si tu pars avec une bonne base, ça aide.
Salut,
Je suis utilisateur de Screaming Frog (en payant) et j’ai pu tester Botify.
Pas évident de comparer ces deux solutions… Mais il y a un aspect que tu n’as pas abordé : le volume de pages à crawler.
En effet, avec Screaming Frog, au-delà de 50-100 000 pages, ça plante sérieusement chez moi. Constates-tu la même chose ?
@Christophe : Tu as entièrement raison, c’est d’ailleurs un aspect que j’aurai du aborder pour contrebalancer un peu. Avec plusieurs dizaines de milliers de pages, le soft montre ses limites. Mais attention, il est important d’être dans un environnement full 64bits (java+OS) et d’allouer un maximum de mémoire à SF ;)
Par ailleurs, quand il y a trop de datas, je segmentes.
Très sympa ton article, je n’avais jamais pensé à utiliser un hash pour détecter le DC, je vais rajouter ça sur mes tools, merci !
J’ai aussi testé Botify et j’ai été un peu déçu, beaucoup trop de teasing derrière pour rien de vraiment « nouveau ». J’espère qu’ils vont rajouter d’autres fonctionnalitées, là c’est génial pour faire un rapport à un client car c’est beau mais au niveau technique c’est pas au point.
Hello à tous et merci Aurélien pour l’article,
C’est super positif moins de 3 mois après le lancement d’être comparé à un des outils de référence et qui existe depuis plusieurs années :-). L’équipe prend ça comme un super défi. Merci pour le challenge. Nous n’allons pas nous contenter de cet état des lieux !
Tes remarques sont constructives et nous devrions sans doute t’inviter à nos réunions roadmap. Tu dois d’ailleurs être présent chaque lundi car tes points concentrent notre focus des prochaines semaines. Ou alors on est sur écoute, ce qui semble à la mode en ce moment… Bref quel est ton secret ? :-).
Je ne vais pas rentrer dans le détail de tes points car à 90% ce sont des points sur lesquels nous sommes en train de travailler et qui feront l’objet de publications dans les prochaines semaines ou les tous prochains mois. Vous vous en doutez, notre obsession quotidienne est de faire encore plus, encore mieux, encore plus rapidement. Le rythme de publication de ces dernières semaine le montre d’ailleurs : https, nouveau report, introduction du pay as you go, évolutions sur le back-end, la possibilité d’inviter des collègues, la fonction collaborator pour faciliter le travail en équipe etc…
Certaines choses prennent plus de temps surtout quand on se donne pour ambition (ou contraintes) de pouvoir crawler 1 million de pages sans aucun pb (ce qui n’est qu’un début, la barrière sera bientôt relevée).
Je ne peux pas partager ici le détail de nos prochains mois mais il est clair que nous ne sommes qu’au début de l’aventure de Botify et que l’application va progressivement proposer d’autres fonctionnalités qui ne se limiteront pas aux metadata issues des crawls.
Merci encore d’avoir pris le temps de partager cette expérience d’utilisation comme l’ont fait un grand nombre d’utilisateurs depuis le lancement. Tous les retours ont à chaque fois été constructifs et nous confortent dans notre projet. Lets do it!
Faisons le bilan à la fin de l’année :-)
Bonjour Aurélien,
Pour notre part à l’agence on utilise aussi Screaming Frog et sur des sites assez gros. Les machines sont évidement puissantes avec beaucoup de RAM pour compenser la technologie Java qui est utilisée par Screaming.
Pour essayer de complémenter l’intérêt d’un crawl par Botify/SeeUrank ou Screaming il me semble juste de donner l’intérêt principal de chaque solution.
Pour ma part sur un nouveau client je préfère de loin un crawl classique, car je cherche justement à avoir une vision exhaustive et fidèle à celle d’un robot afin d’identifier rapidement de gros soucis ou des quick win. En 2000 / 2001 pour cette tache j’utilisais Analogx qui s’appel maintenant LinkExaminer et qui dépotait pas mal (c’est du C), par contre il n’y a pas de possibilité de configurer quoi que ce soit. /!\ Attention c’est un soft bourrin qui peut faire tomber les sites ; il crawl parfois les forms également.
Sur des clients avec qui on travail avec depuis plusieurs années – nous connaissons donc bien l’architecture du site – je préfère très largement Screaming Frog car l’objectif est plutôt la précision.
En tout cas ce billet permettra aux plus novices et apprentis SEO de progresser sur cette problématique.
Je partage un peu ta conclusion, j’ai également testé Botify avec l’offre de lancement et je suis rester sur ma faim. Le crawler Botify est un bel outil mais il est pour moi pas encore assez développé, j’y reviendrais surement .. Après comme dit dans les coms précédents difficile de comparer finalement ses deux outils. Bref je reste comme toi avec le couple Screaming frog/Excel qui fonctionne très bien( même avec de gros sites), suffit juste de crawlé en plusieurs fois et d’avoir de la RAM.
Bonjour,
Intéressant, je suis assez d’accord avec le retour de Lionel, c’est un peu comparer des choux et des carottes …
Sur ce type d’outils, assez technique, on est rapidement amené à faire des choix, dans la façon de récupérer l’info, dans la façon de la traiter et enfin dans la façon de la présenter.
Botify et ses rapports « tout fait » sera très apprécié dans certains contextes (on retrouve souvent le « rapport envoyé directement au client »), quand les consultants SEO, en mode un peu avancé, voudront pouvoir faire leur cuisine, explorer eux même la donnée pour aller titiller un point particulier.
Pour le dire autrement, je ne suis pas sur que les choux soient mieux que les carottes, mais plutôt que à chaque utilisation correspond un outil.
my 2 cents
Je pense que Botify à encore beaucoup à dévoiler ce n’est que le début mais comme tu le dit y a peut être un problème de pricing parce que je trouve ça un peu cher pour les résultats fournis.
Autre gros point négatif sur Botify le rendu des résultats sur des exports csv qui est vraiment à revoir notamment pour l’export d’éléments en double comme les titles ou meta description.
Je pense que les solutions comme Botify ont vraiment leur place notamment grâce à la mise à disposition de leur puissance de calcul qui peut faire défaut à un logiciel installé sur une machine souvent tributaire de la puissance de celle-ci.
Je suis un adepte de Screaming Frog car il me permet d’avoir complètement la main sur mes analyses pour aller au fond des choses ce qui est particulièrement utile quand je suis obligé de résoudre un problème précis et complexe par une analyse quasi chirurgicale.
Bon sur ce point c’est excel qui prend généralement le relais ;) mais screaming frog me permet comme tu l’as très bien dit de filtrer le crawl à volonté pour ne faire ressortir que ce que l’ont veut.
J’attend d’ailleurs beaucoup de l’url explorer de Botify qui à un gros potentiel notamment en terme de gain de temps sur l’analyse des résultats.
Enfin je ne pense pas qu’on puisse comparé sur un pied d’égalité Botify et screaming frog. Le premier plaira surtout pour ses analyses faisant ressortir les principaux indicateurs seo d’un site pour prendre sa température alors que le second convient plus aux seo plus expérimentés voulant maitriser leur analyse de A à Z.
Attention je ne dit que Botfiy ne pourra pas faire de l’audit très minutieuse mais que pour l’instant il n’est pas au niveau d’expertise qu’attend un pro un temps soit peu pointilleux ;)
@Adrien : Promis je ne bosse pas à la NSA ;-) Bref, j’espère très sincèrement que Botify gagnera en maturité dans les mois à venir, et qu’il devienne une killer app !
@Jean-Michel : Merci pour ton retour. La précision est aussi ce que je recherche constamment. Maintenant quand tu dis « avoir une vision exhaustive et fidèle à celle d’un robot », j’imagine que tu fais référence au googlebot. Or, un crawler comme SF ou Botify ne crawl pas comme un Googlebot : ce dernier quand il tombera sur des boucles infinies s’arrêtera.
@Pierre : Il m’arrive aussi de spliter mes crawls sur les sites de grande envergure, même si j’aime moyennement ça. J’attendais justement de Botify qu’il puisse me procurer autant de souplesse et de précision que SF tout en pouvant avaler des sites de plus d’un million de pages sans broncher. J’en rêve toujours…
@Courtois : Je n’ai jamais mis screaming frog et Botify sur un pied d’égalité. Je suis conscient de leur différences, mais aussi de leurs similitudes. Et j’ai également pris en exemple Sitecondor basé sur un biz model similaire. Aussi, je n’irai pas jusqu’à dire que c’est comparer des choux et des carottes, on peut très bien les comparer.
@Michael : Tu dis que Screaming Frog « convient plus aux seo plus expérimentés voulant maitriser leur analyse de A à Z » : je partage ton avis, et pour moi il n’y a pas de demie mesure avec ces outils. Je suis également persuadé qu’Adrien et son équipe ont l’ambition d’apporter un outil fiable et précis, tout en étant facilement accessible. Le hic, c’est qu’au regard du prix et des ambitions, il manque encore clairement des « briques » à l’édifice.
Pour contrebalancer encore plus, dans certains cas Botify est _aussi_ un peu limité en termes de volume.
Pour ma part, je n’ai pour l’instant testé que très rapidement cet outil, qui reste en effet perfectible mais s’adresse peut-être à des besoins plus spécifiques que ce que ses fondateurs pensent …
Quoi qu’il en soit, je trouve l’offre SaaS assez limitée en volume. A quand une offre « agence » ou « pro » avec des limites moins restrictives, tant en termes de vitesse de crawl que de volume de pages ?
PS : sur Screaming Frog ou Xenu, la limite c’est votre machine ; le grand intérêt du mode SaaS est justement de s’éviter cette limite (jusqu’à un certain point, chez Botify).
pour le gros volume d’URL à crawler de mon site. J’utilise une combinaison d’amazon EC2 et Screaming Frog. Cela permet de contourner les limitations RAM (desktop) de Screaming Frog.
Voici comment faire (en Allemand, mais les screenshots sont compréhensibles):
http://www.artaxo.com/de/2013/04/screaming-frog-seo-spider-in-amazon-cloud/
@Yann Maurer : très intéressant ! Merci ;)
C’est une version encore un peu verte du crawler, mais il va y avoir des améliorations assez rapidement je pense. En tout cas, je prend note du commentaire de @Yann pour les gros volumes.
J’utilise SFS depuis plus de 4 ans. C’est un excellent outil. J’ai testé Botify et il me plait également. L’une de ses forces réside dans la présentation graphique des données et les rapports prêts à être envoyés. Pour faire cela avec SFS ça prend du temps.
Sinon pour avoir une machine puissante je fais appel depuis des années à Amazon Web Services. Je prends celle avec 24Go de RAM et j’ai déjà crawlé 4 millions de pages avec SFS. Une autre difficulté est le traitement des données. Excel ne s’ouvre plus avec tant de liens. Je passe par Cygwin et les regex. Vous pouvez trouver quelques commandes dans mon article sur le crawl des sites http://goo.gl/rR33mw
Pour ma part je ne connais pas du tout Botify, mais j’utilise de tant à autre Screaming Frog SEO que je trouve très performant. Il propose énormément de données sur le site analysé. Sa dernière mise à jour qui apporte la fonction d’analyse de la taille de la title est pour moi simplement indispensable, je n’ai pas connaissance d’un autre outil qui permette une telle analyse (cf. http://www.seo.fr/blog/titles-screaming-frog-seo-260314/ pour la fonctionnalité). Si je devais lui faire un reproche, ce serait son austérité. Si l’on ne sait pas quoi chercher ou analyser, on peut se perdre très vite dans le rapport.
J’utilise depuis quelques jours en support un nouveau crawler gratuit intéressant, Netpeak Spider. Je n’ai pas encore fait le tour, il me semble un petit peu moins complet, par contre il a l’avantage de mettre en évidence les erreurs et les points à corriger. Pour un débutant ça peut être utile.
Je suis d’accord avec Christophe, étant aussi utilisateur de Screaming Frog, au delà 50-100 000 pages ça plante direct aussi chez moi.
Ensuite en ce qui concerne botify, l’interface est moyenne et effectivement, ça sent la peinture fraiche. Affaire a suivre…
@Rodolphe : comme évoqué plus haut, tu peux (très) largement dépasser le million d’URLs. Essaye déjà d’être dans un environnement full 64 bits (OS + Java) et d’allouer un max de RAM à Java.