Els motors de cerca visiten de tant en tant els llocs web i rastregen el contingut d’aquests a través de robots, també coneguts com aranyes.
Indexació Motors de Cerca
Els robots més coneguts són Googlebot que és el robot de Google, Yahoo_Slurp de Yahoo o msnbot de Bing. En descobrir nous continguts els robots afegeixen aquests a un índex, el valoren i decideixen la seva indexació en els resultats de cerca.
Per a què serveix el robots.txt?
Per facilitar la indexació d’un lloc web l’administrador del lloc d’utilitzar el que es coneix com a fitxer “robots.txt”. Aquest fitxer serveix per donar instruccions als robots sobre quins continguts han de seguir i quins no i com haurien de fer-ho.
Algunes característiques d’aquest fitxer són:
Aquest fitxer ha de ser únic en un lloc web, llevat que hi hagi subdominis. En aquest cas haurem d’incloure un fitxer robots.txt per a cada un dels subdominis i un altre per al domini principal.
Cal destacar que aquest fitxer ha de ser creat en un document de text normal sense format.
Hem de tenir cura amb les adreces ja que són sensibles a majúscules i minúscules i no deixar espais en blanc entre línies.
És important que respectem el nom del fitxer “robots.txt” perquè sigui trobat fàcilment pels robots.
El fitxer a més ha de pujar a l’arrel del lloc web perquè és aquí on van a anar a buscar-lo.
És recomanable establir una jerarquia en les instruccions que li donem, ja que en un mateix fitxer pot haver diferents regles aplicades a diferents cercadors.
És aconsellable que en el fitxer robots.txt fem menció a la ruta on es troba el mapa del web, que no és més que un altre fitxer que contindrà totes les adreces que té el lloc web.
Com es fa servir el robots.txt?
El fitxer robots.txt utilitza dos ordres:
1) User-Agent: per informar sobre a quina robot se li aplica la regla escrita a continuació.
Si posem User-agent: * estarem aplicant la regla sobre qualsevol robot.
Si per contra, utilitzem per exemple User-agent: Googlebot li estarem dient que la regla continguda a continuació és aplicable només al robot de Google específic per a web.
2) Disallow: per informar sobre la URL que volem bloquejar
Si no volem que sigui indexat tot el contingut del directori imatges posaríem “disallow: / imatges /”.
Funcionalitats del fitxer robots.txt:
Evitar que algunes parts del teu lloc web siguin rastrejades i indexades pels cercadors. Exemple d’això podrien ser els passos en una passarel·la de pagament, la intranet o els retorns de formulari amb les pàgines d’ok / error.
Permet evitar que es indexi contingut duplicat. Per exemple, en el cas que tinguéssim una pàgina de productes al nostre lloc web ia més a part utilitzéssim 1 Landing Page per atreure a l’usuari (replica del text de la de productes) podríem evitar ser penalitzats per duplicitat de continguts dient-li al robot que no indexi la Landing Page.
Impedir l’accés a alguns robots a continguts del teu lloc web.
Pots conèixer més sobre el fitxer robots.txt visitant el centre de suport de Google o el web oficial robotstxt.org
En propers post us ensenyaré altres formes d’evitar que es indexin continguts en els resultats de cerca com són utilitzar la meta etiqueta “noindex”, usar .htaccess per protegir directoris amb contrasenya o eliminar continguts ja rastrejats a través de les Eines per Webmasters de Google i Bing.
Us ha agradat aquest article? Compartiu-lo!