Google integrerà il machine learning nel crawling

Martin Splitt, del team Google e spesso in prima linea nelle risposte agli utenti su Twitter e nei video ufficiali, ha spiegato come il machine learning entra in vari sistemi di Google. Oggi è già usato nel crawling, ma non ancora nel rendering. Per il rendering, l'azienda sta ancora valutando la strada.

Con le reti neurali Google riesce a leggere meglio diversi segnali durante il crawling e a costruire una selezione più pertinente per gli utenti. Il sistema può valutare la qualità di un URL e le caratteristiche della pagina collegata: quanto il contenuto rispetta gli standard di Google e quanto è aggiornato rispetto ad altri siti. Secondo Splitt, questo migliora in modo sensibile la precisione dei risultati di ricerca.

Il web contiene una quantità enorme di siti e Google, anche con le risorse di cui dispone, non può effettuarne il crawling completo. In questi casi il machine learning aiuta a usare meglio il crawl budget e a capire se un URL meriti davvero una visita del crawler. Nei risultati entrano quindi soprattutto link aggiornati e di qualità, tra cui anche Autosurf.

Il machine learning serve anche a decidere se un sito richiede un crawling quotidiano o se bastano visite meno frequenti. Il sistema guarda alla frequenza di aggiornamento dei contenuti: un sito di news giornaliere riceve più risorse rispetto a una pubblicazione aggiornata solo di rado.

Splitt non può ancora dire con certezza quanto questa tecnologia diventerà stabile dentro Google. Per ora non è chiaro se sia ancora un esperimento o una soluzione già consolidata; lo si capirà meglio più avanti.