robots.txt

robots.txt é um arquivo de texto que pode ser usado para restringir os robôs da web para acessar o site somente nas maneiras das quais você aprova.

Isso bloqueia arquivo robots.txt do Google ImageBot de todo o site:

  User-agent: 
				
				Googlebot-Image
 Disallow: /

Para mais informações sobre robots.txt, leia um padrão de exclusão de robôs .

Verifique a sintaxe do robots.txt

Várias ferramentas baseadas na web estão disponíveis, que irá recuperar o arquivo robots.txt de seu Web site e verificar se há erros de sintaxe.

• Robots.txt Checker
• Robots.txt Validator
• Robots.txt verificador de sintaxe

Bad Robots

Alguns robôs da Web irá utilizar-se uma quantidade considerável de largura de banda e recursos do sistema, retornando pouco ou nenhum benefício prático para o proprietário do site.

Para sua comodidade, mantemos uma lista de alguns desses robôs maus em formato robots.txt.