Muchos operadores de sitios web están inquietos. Aparentemente, es absolutamente necesario tener un archivo llamado robots.txt. ¿Qué es?
Windows + Linux / Inglés / Código abierto. Si tienes una página de inicio, normalmente querrás que te encuentren. Existe una gran frustración cuando su propia página no aparece en Google. Esto puede deberse al archivo robots.txt. Pero solo si está ahí. Este archivo solo puede hacer una cosa: prohibir.
En el archivo robots.txt, puede prohibir que los programas automáticos que navegan por Internet las 24 horas del día accedan a sus páginas. Puede pronunciar la prohibición en todos los ámbitos para todos estos robots o para algunos. Puede bloquear sus páginas por completo o solo ciertas áreas.
Si el archivo no existe, no hay prohibiciones. Sus páginas están abiertas a todos los motores de búsqueda. Si sigues sin aparecer en Google, surge una pregunta completamente diferente: ¿Ya has registrado tus páginas? Lo mejor que puede hacer es hacerlo de inmediato. Simplemente ingrese la dirección aquí:
https://www.google.com/webmasters/tools/submit-url
Para hacer esto, debe iniciar sesión en su cuenta de Google.
Para que un archivo robots.txt faltante sea un problema, el servidor también debería estar configurado incorrectamente. Entonces, un robot podría intentar acceder al archivo y encontrar mensajes de error inusuales, lo que provocaría la interrupción del proceso. Pero este caso es muy poco probable.
Si desea crear un archivo robots.txt, guárdelo en la carpeta principal de su servidor web. Si desea permitir que todos hagan todo, escriba lo siguiente:
Agente de usuario: *
Rechazar:
La línea "Usuario-Agente" indica a quién se aplica la prohibición. * significa: para todos. La línea "Disallow" expresa la prohibición. Si no hay nada más, significa que todos los accesos están permitidos.
Más sobre el tema:Cortina arriba, aquí viene tu sitio web: Cómo crear un sitio web con poco esfuerzo
