robots.txt
Robots.txt on palvelimelle asetettava tiedosto, jossa voi antaa rajoituksia hakukoneiden hakuroboteille ja muille boteille, jotka tutkivat verkkosivuja.
Tämä opas kertoo miten robots.txt-tiedosto, meta-robots-tagi ja rel=”nofollow” -attribuutti vaikuttavat hakukoneiden robotteihin ja muihin botteihin.
Opas listaa keinoja joita jokaisen webmasterin on hyvä hallita: muuten vaarana ovat kalliit mutta helposti korjattavat virheet. Lopussa käsitellään myös linkkivoiman kanavointia hakukoneoptimointia varten.
Twitter
RSS