Seven SERP Theme|Centro de ayuda

Crear robots.txt

Seven SERP

El fichero robots.txt es imprescindible en una página web. Con Seven SERP Theme puedes generarlo rápidamente:

¿Cómo crear robots.txt?

Para habilitarlo, simplemente tenemos que activar el módulo Robots.txt que por defecto viene activado. No tenemos que hacer ninguna acción adicional. El fichero se crea de manera virtual, es decir, no aparecerá en Filezilla.

Modificar el fichero

En la configuración del módulo en Tema > Robots.txt podemos modificarlo sin tener que acceder al FTP:

  • Añadir reglas personalizadas: Si indicas la opción "Añadir al final del fichero", lo que escribas en el contenido de la caja inferior se añadirá al final del archivo.
  • Sustituir por completo: Lo que escribamos en el campo "Reglas personalizadas", será el contenido de robots.txt.

Reglas predefinidas

El fichero incluye algunas reglas para mejorar el rastreo de tu página:

  • Aumenta el tiempo entre accesos de robots agresivos.
  • Desindexa las búsquedas de los usuarios.
  • Impide acceder a páginas específicas de WordPress (/wp-content, /comments)...
  • Deshabilita el rastreo de ciertos robots.
  • Permite acceder a los ficheros .css y .js a Google para que la página se rastree correctamente.

Automatizaciones de robots.txt

Todas las opciones de Seven SERP Theme están pensadas para no tener que interactuar con ellas una vez configurada.

Si indicamos en las opciones de WordPress (Ajustes > Disuadir a los motores de búsqueda de indexar este sitio) el fichero robots.txt cambiará su contenido por:

User-agent: *

Disallow: /

Si eliminamos o añadimos nuestro sitemap, añadirá automáticamente al final del archivo:

Sitemap: (dirección del sitemap)