O que é o arquivo robots.txt

• robots.txt（em minúsculas) é um arquivo de texto armazenado no diretório raiz de um site, que geralmente informa aos rastreadores de mecanismos de busca (também conhecidos como aranhas da web) quais conteúdos do site n?o devem ser acessados pelos rastreadores de mecanismos de busca e quais podem ser acessados (pelas aranhas).
• Como algumas URLs nos sistemas s?o sensíveis a maiúsculas e minúsculas, o nome do arquivo robots.txt deve ser sempre em minúsculas. O robots.txt deve ser colocado no diretório raiz do site.
• Se desejar definir individualmente o comportamento do rob? de busca ao acessar um subdiretório, pode combinar as configura??es personalizadas no arquivo robots.txt na raiz do diretório ou utilizar metadados robots.
• O protocolo robots.txt n?o é uma norma, mas sim uma conven??o, portanto, n?o garante a privacidade do site. Note que o robots.txt usa compara??o de strings para determinar se deve ou n?o obter uma URL, ent?o a presen?a ou ausência de uma barra "/" no final do diretório representa URLs diferentes. O robots.txt permite o uso de curingas como "Disallow: *.gif".
• O protocolo Robots é uma norma moral prevalente na comunidade internacional da Internet, estabelecida com base nos seguintes princípios: 1. A tecnologia de busca deve servir aos seres humanos, respeitar a vontade dos fornecedores de informa??es e proteger seus direitos de privacidade; 2. Os sites têm o dever de proteger as informa??es pessoais e a privacidade de seus usuários contra viola??es.

conteúdo do arquivo robots.txt

• A acessibilidade ou rastreabilidade dos motores de busca.
• Acessibilidade de um motor de busca para diretórios ou arquivos.
• Defini??o do caminho do mapa do site.
• Limita??es de intervalo de tempo para a indexa??o de motores de busca.

Gerador de arquivo robots.txt

• Configure os dados que deseja no interface web, clique em "Gerar" no gerador e o conteúdo do arquivo robots.txt será exibido na caixa de texto abaixo.
• Agora, você cria um arquivo de texto em branco, nomeado como: "robots.txt", e depois copia e cola o conteúdo acima para o "robots.txt".
• Coloque o "robots.txt" no diretório raiz do seu site, acesse o robots.txt e certifique-se de que ele permite que os visitantes (como motores de busca) acessem.