Screaming Frog è un SEO Spider molto potente in grado di effettuare analisi SEO OnSite approfondite. In questa guida vedremo alcune delle principali funzionalità molto utili durante le analisi SEO. La versione gratuita di Screaming Frog permette di analizzare fino a 500 URL.
Screaming Frog permette di effettuare il crawling di un sito web, di un sottodominio o di una directory specifica.
Nella versione a pagamento, il SEO Spider permette di selezionare l’opzione “Crawl all Subdomain”, nel caso in cui si abbia più di un sottodominio. Se si ha necessità di effettuare il crawl di un solo sottodominio è sufficiente aggiungere l’URL nella casella apposita. Le funzionalità più utilizzate riguardano il monitoraggio degli status code su un sito web (40x,50x,200 e 30x).
Screaming Frog di default effettua il crawling di una directory semplicemente aggiungendo l’indirizzo nella barra come presentato nell’immagine di seguito.
Se si ha necessità di effettuare un crawling avanzato si può utilizzare il carattere jolly che comunica al SEO Spider di effettuare il crawl di tutte le pagine che precedono e/o seguono il “Jolly”. Il percorso da seguire per utilizzare questa funzionalità è: Spider > Include e aggiungere nel box che appare la sintassi desiderata, ad esempio con questa sintassi: https://www.bytekmarketing.it/chi-siamo/.### lo spider effettua il crawling soltanto delle sezioni del sito web che sono presenti nel ramo “Chi Siamo” del sito web, quindi tutte le risorse che si trovano dopo il carattere “Jolly”. Avviando il crawl verranno estratte tutte le URL “Figlie” della sezione “Chi Siamo”, ad esempio: https://www.bytekmarketing.it/chi-siamo/roberto-paolucci https://www.bytekmarketing.it/chi-siamo/mario-rossi **Questa opzione torna particolarmente utile con siti web di grandi dimensionidove non abbiamo risorse per lavorare su dati molti grandi. Teniamo conto del fatto che i dati del crawling dovranno essere (nella maggior parte dei casi) lavorati in Excel, quindi la base di partenza dovrà essere un dato lavorabile in modo agevole per effettuare “Cerca Vert”, lavorare con i filtri e con i grafici.
Dalla tab “Mode” è possibile selezionare la modalità di crawling, nel caso si voglia effettuare il crawling di un set di URL la modalità da impostare è “List” in quanto è possibile importare un file Excel con una colonna che contiene l’elenco delle URL. L’altra opzione per analizzate un elenco di URL è il “copia e incolla”, quindi copiare da una fonte esterna (Excel, CSV, TXT o da pagina HTML) l’elenco delle URL e fare click su “Paste”. N.B. è necessario che ogni URL contenga anche il protocollo http o HTTPS incluso il www, quindi la struttura corretta di ogni URL dovrà essere: http://www.test.it
Quando si ha necessità di analizzare un sito web di grandi dimensioni e non è sufficiente effettuare il crawl soltanto di HTML e immagini (in ottica SEO molto spesso è bene analizzare anche gli status code di file CSS e JS per assicurarci che gli spider dei motori di ricerca riescano ad effettuare correttamente il rendering delle pagine) si può lavorare sulle impostazioni:
Se anche con queste due configurazioni non è possibile analizzare un sito web di grandi dimensioni, le uniche impostazioni che si possono attivare sono:
In ottica SEO è fondamentale effettuare un unico crawl perché permette di avere una visione completa, ad esempio la coppia di URL From e URL To in riferimento a 301, 404 o al monitoraggio della distribuzione dei link interni.
N.B. Può capitare che Screaming Frog vada in time out o, in generale, non riesce ad analizzare le risorse (o è molto lento) anche su siti web di piccole dimensioni; in questo caso il problema potrebbere essere legato ad altri fattori, ad esempio alle performance dell’hosting o al fatto che il nostro indirizzo IP (dal quale abbiamo avviato Screaming Frog) sia stato bloccato dal titolare dell sito web (o dalla risorsa IT dedicata). Il nostro indirizzo IP può essere bannato da un provider perché l’azione di Screaming Frog è del tutto simile ad un attacco hacker (ad esempio di tipo DOS) rivolto ad esaurire le risorse del server e causare errori di tipo 50x.
Dopo aver terminato il crawling del sito web ci sono molteplici opzioni di esportazione:
Nell’immagine di seguito viene mostrato come effettuare l’esportazione dei dati strutturati schema.org.
Screaming Frog permette di esportare un file di configurazione da poter riutilizzare per progetti/clienti futuri. è particolarmente utile se si effettuano analisi SEO per clienti simili (struttura del sito web simile) e sono stati configurati filtri avanzati o opzioni di estrazione particolari (filtri, exclude/include o carattere jolly).
Il file di configurazione torna utile anche se sono stati programmati script custom, ad esempio in Python o da riga di comando per automatizzare operazioni puramente meccaniche. Ad esempio se abbiamo necessità di effettuare una serie di SEO Audit puramente tecnici e nell’output sono richiesti gli stessi dati, non avrebbe senso, per ogni sito web, configurare nuovamente Screaming Frog.
Screaming Frog è “Robots.txt Compilant” quindi è in grado di seguire perfettamente le direttive indicate nel robots.txt esattamente come Google Search. Tramite le opzioni di configurazione è possibile:
L’ultima opzione può tornare utile prima del go-live di un sito web per effettuare il test sul file robots.txt, così da verificare se le direttive indicate nel file sono corrette.
Di default Screaming Frog non accetta i cookies, come del resto anche gli spider dei motori di ricerca. Questa opzione viene spesso sottovalutata o ignorata ma in realtà, per alcuni siti web, è di fondamentale importanza perché accettando i cookies si possono sbloccare funzionalità e aggiungere codice che possono dare indicazioni lato SEO e performance estremamente utili.
Ad esempio accettando i cookies si può sbloccare un piccolo JavaScript che aggiunge codice all’HTML della pagina… e se questo codice crea problemi lato SEO come posso verificarlo? Screaming Frog in questo caso ci aiuta come mostrato nell’immagine di seguito.
Uno dei migliori metodi per la creazione di una sitemap è l’utilizzo di un SEO Tool come Screaming Frog, anche l’utilizzo di plugin WordPress come SEO Yoast vanno bene, però si possono presentare problemi di aggiornamento e non compatibilità, ad esempio può succedere che le URL presenti in sitemap restituiscono status code 404.
Si consiglia di generare una sitemap che contenga soltanto URL cononiche e con status code 200. Per siti web di grandi dimensioni è consigliato creare una sitemap per ogni tipologia di contenuto (PDF, Immagini e pagine HTML) e una sitemap per ogni ramo dell’architettura informativa.
Avere sitemap specifiche permette al motore di ricerca di analizzare meglio le URL e le tipologie di file e, lato nostro, permette di avere il pieno controllo ed effettuare agevolmente un confronto tra URL nell’indice di Google Search (operatore site:) e singole sitemap.
Si ricorda che il limite di URL da aggiungere in una sitemap è di 49.999. Per dettagli sugli standard vedere: https://www.sitemaps.org/protocol.html
Per generare una sitemap con Screaming Frog seguire i seguenti passaggi: Sitemaps (top bar) > XML Sitemap o Images Sitemap
Tra le opzioni di Screaming Frog è possibile decidere quali pagine includere in base a:
Relativamente alla struttura del sito web con focus particolare sull’architettura informativa è utile la sezione “Visualisations” in quanto permette di avere una visione grafica della struttura del sito web, in diagrammi o grafi. Durante un’analisi di linking interno questa sezione è fondamentale ma si consiglia di integrarla comunque con programmi di mind-map, come xmind e con tool tipo: https://rawgraphs.io/
Le opzioni di configurazione del SEO Spider sono raccolte ed organizzate in tab, in questo paragrafo esamineremo le macro tab senza scendere nel dettaglio su tutte le singole opzioni.
Questa tab è utile in particolare per analizzare siti web molto grandi ma non solo. Da questa sezione è possibile:
Nel menu principale in alto del tool sono presenti una serie di pulsanti (tab) i quali aprono delle sezioni, vediamole nel dettaglio.
La tab internal unisce tutti i dati estratti durante il crawling e aggiunti nelle altre tab (esclusa le tab external, hreflang e custom). L’utilità di questa tab sta nell’avere una visione di insieme e la possibilità di esportare e lavorare il dato esternamente, ad esempio in Excel, con Data Studio o tool di mind-map.
Questa tab mostra informazioni legate a URL esterne al dominio.
Da questa sezione è possibile vedere informazioni connesse ai protocolli HTTP e HTTPS sia di URL esterne sia interne. Questa tab è utile per verificare, ad esempio, la corretta migrazione a HTTPS.
Tale tab fornisce informazioni sui response code, sia interni sia esterni.
Questa tab fornisce informazioni legate ai title delle pagine, in particolare per:
Fornisce informazioni sulla metadescription, lunghezza (min e max in ottica SEO), se è duplicata o se assente.
Fornisce informazioni sull’heading tag H1, ad esempio se è uguale al title, in quanto molto spesso (soprattutto negli E-commerce) che i prodotti abbiamo l’H1 uguale al title. Tale criticità può essere risolta, ad esempio, concatenando la variante di prodotto all’attuale H1 e avere un tag originale.
Informazioni su lunghezza e originalità del tah H2.
I dati forniti in questa tab sono legati sia al peso dell’immagine sia al numero di link interni che riceve sia all’Indexability Status. Si ricorda che un’immagine in ottica SEO deve essere considerata come una pagina HTML in quanto, se ben ottimizzata, è in grado di portare traffico organico, ad esempio tramite le ricerche per immagine.
Questa tab mostra la lista delle risorse cononiche.
Fornisce informazioni sulla paginazione e sulle risorse paginate, in particolare all’utilizzo dei tag Rel Next e Rel Prev.
Questa tab fornisce informazioni sull’utilizzo del tag Hreflang per la corretta impostazione di un sito web multi lingua o multi lingua e multi country. Gli Audit SEO per i siti web in multi lingua necessitano di effort a parte data la complessità e le analisi da effettuare su più mercati.
La tab Custom permette di controllare le URL ottenute tramite l’utilizzo di filtri ed estrazioni custom.
Tramite questa tab è possibile integrare i propri account di Google Analytics e Google Search Console. Conclusioni Questa è una guida base all’utilizzo del SEO Spider per comprendere le potenzialità e gli ambiti di utilizzo. Ad oggi Screaming Frog risulta essere uno dei migliori strumenti per condurre analisi SEO tecniche. è sicuramente molto utile integrare questa guida con casi di studio reali applicati a clienti durante i nostri SEO Audit così da rendere il tutto più piacevole da seguire.
© 2021 ByTek SRL - P. IVA: 13056731006 - REA: MI - 2562796 - Privacy Policy - Cookie Policy