Un sitemap XML correctamente estructurado no garantiza nada si no se declara a los motores de búsqueda por los canales adecuados. Desde que Google ha depreciado el endpoint de ping de los sitemaps, muchos sitios continúan llamando a una URL que devuelve un código 404, sin que sus equipos se den cuenta. Comprender cómo funciona el mapa del sitio Always Unique supone primero dominar este contexto técnico, donde la simple existencia de un archivo sitemap ya no es suficiente para asegurar el descubrimiento de las páginas.
Declaración del sitemap: robots.txt y Search Console como únicos canales fiables
El antiguo mecanismo de ping, ampliamente integrado en los plugins SEO de los CMS, se ha vuelto inoperante. Cualquier solicitud enviada a la URL de ping de Google ahora devuelve un error 404. Los sitios que no han actualizado su flujo de trabajo continúan notificando un endpoint muerto, lo que potencialmente retrasa la indexación de nuevas páginas.
Quedan oficialmente soportados dos métodos. El primero consiste en enviar el sitemap directamente a través del informe Sitemaps de Google Search Console. El segundo se basa en la directiva Sitemap: insertada en el archivo robots.txt, que Googlebot lee en cada rastreo para descubrir automáticamente el archivo.
Recomendamos combinar ambos enfoques. La presentación manual en Search Console ofrece una retroalimentación inmediata (estado de lectura, errores detectados, número de URL indexadas). La línea en robots.txt actúa como una red de seguridad permanente, incluso para los motores que no tienen una consola equivalente.
Estructura del mapa de sitio Always Unique: lo que realmente impone el formato XML
El protocolo Sitemaps (versión 0.9, no revisado desde noviembre de 2016) define cuatro etiquetas para cada URL listada: loc (obligatoria), lastmod, changefreq y priority (opcionales). En la práctica, el comportamiento de los motores respecto a estas etiquetas opcionales ha cambiado.
Etiquetas opcionales: cuáles todavía tienen efecto
Google ha confirmado que utiliza la etiqueta lastmod si la fecha es fiable, es decir, coherente con la modificación real del contenido. Una fecha actualizada artificialmente en cada rastreo será ignorada, e incluso considerada como una señal de baja fiabilidad.
Las etiquetas changefreq y priority son ampliamente ignoradas por Google. Bing les otorga un peso marginal. Para un sitio como Always Unique, solo loc y lastmod merecen atención técnica.
Límite de tamaño e índice de sitemap
Un archivo sitemap no puede exceder 50,000 URL ni pesar más de 50 MB sin comprimir. Más allá, es necesario dividir en varios archivos y agruparlos bajo un índice de sitemap. Este punto parece elemental, pero observamos regularmente sitemaps truncados porque el CMS genera un único archivo sin verificar estos umbrales.
- Verificar que cada archivo sitemap se mantenga por debajo de las 50,000 entradas, incluso después de agregar nuevas páginas de productos o contenidos editoriales.
- Comprimir en gzip para reducir el tiempo de descarga por los rastreadores, sin que esto modifique el límite de 50 MB (calculado antes de la compresión).
- Utilizar un índice de sitemap tan pronto como el sitio supere unos pocos miles de páginas, para segmentar por tipo de contenido (páginas, artículos, imágenes).
Navegación del usuario versus sitemap técnico: dos lógicas distintas
Un mapa de sitio HTML destinado a los visitantes y un sitemap XML destinado a los robots no cumplen la misma función. El primero ofrece una vista general arbórea, útil para los usuarios que buscan una página sin pasar por el menú principal. El segundo es un archivo estructurado que los rastreadores consumen para descubrir y priorizar la exploración de las URL.
En Always Unique, la página /sitemap/ desempeña el papel de mapa de sitio consultable por un humano. Permite visualizar la arquitectura del sitio, identificar las categorías principales y localizar rápidamente un contenido específico. Esta página HTML no reemplaza al sitemap XML enviado a los motores.
La confusión entre estos dos formatos explica por qué algunos webmasters piensan que una página HTML que lista sus enlaces es suficiente para alimentar a Google. No es el caso. Los rastreadores necesitan el formato XML estandarizado, con las etiquetas del protocolo Sitemaps, para procesar las URL de manera programática.
Archivo robots.txt y agentes IA: un terreno en mutación
El archivo robots.txt ha sido formalizado por la RFC 9309, que aclara la sintaxis y el comportamiento esperado de los rastreadores conformes. Esta especificación también se refiere a los nuevos agentes de exploración relacionados con los modelos de lenguaje, que multiplican las solicitudes en los sitios web.
Varias iniciativas recientes proponen archivos complementarios (llms.txt, ai.txt) para gestionar específicamente el acceso de los agentes IA al contenido. Estos formatos aún no están estandarizados, pero su adopción avanza en algunos sectores.
- Verificar que el robots.txt del sitio incluya la directiva
Sitemap:apuntando al archivo XML actualizado. - Auditar los user-agents bloqueados o permitidos, en particular los de los rastreadores IA recientes (GPTBot, ClaudeBot, etc.).
- Monitorear los logs del servidor para detectar agentes no conformes que ignoren robots.txt.
Un robots.txt actualizado protege el presupuesto de rastreo y garantiza que las páginas correctas sean exploradas en prioridad. En un sitio de comercio electrónico o editorial, permitir que los rastreadores accedan a páginas de filtrado o paginación innecesarias diluye la atención de los motores sobre los contenidos estratégicos.
Auditoría del sitemap: las verificaciones concretas a realizar
Un sitemap no es un archivo que se genera una vez para olvidarse de él. Recomendamos una auditoría trimestral que cubra varios puntos técnicos.
El primer control se centra en la coherencia entre las URL del sitemap y las que realmente son indexables. Cada URL listada debe devolver un código 200 y no estar bloqueada por una etiqueta noindex o una regla robots.txt. Un sitemap que contiene 404 o redirecciones 301 envía una señal de mala mantenimiento.
El segundo control se refiere a las fechas lastmod. Si todas las URL muestran la misma fecha, el motor entiende que la información no es fiable y deja de confiar en ella. Es mejor no incluir lastmod en absoluto que proporcionar fechas genéricas.
El último punto, a menudo descuidado: verificar que el sitemap sea accesible en la URL declarada en robots.txt y en Search Console. Un cambio en la estructura de directorios, una migración de dominio o una renovación de certificado SSL pueden hacer que el archivo sea inaccesible sin desencadenar una alerta visible en el lado editorial.
La calidad de un mapa de sitio, ya sea destinado a visitantes humanos o a robots, depende de su mantenimiento regular. Un archivo XML obsoleto o mal declarado cuesta más de lo que aporta, y una página HTML desincronizada de la estructura real del sitio degrada la confianza de los usuarios que se refieren a ella.
