robots.txt

Motore di ricerca Guainiha consumo che possono includere ciascuna delle priorità crawler.

Prima di vedere il crawler durante la scansione di un sito, questo è il file robots.txt.

misure come parte del file robots.txt, SEO iscritto robot.txt

Per ulteriori informazioni, vedere qui ↑

E 'volere lo stesso effetto, ma i meta-tag, robots.txt e meta tag, se entrambe esistono, o spider o una priorità?

Questo è, robots.txt ha la precedenza.

Molto in meta

  index, follow 

  E persino, nel robots.txt 

  User-agent: *
 Disallow: / 

Se e, senza dubbio, non può dipendere dalla ricerca.

Ciò è dimostrato.

Per inciso, questo non è considerato il modello opposto. Perché, è da robots.txt è limitata alle azioni per il robot.

Se vuoi venire al crawler, robots.txt si consiglia di non installare. (Assicurati di mettere il Purasumetatagu)