Indexar todas las páginas del sitio web en buscadores

por | Marzo 30, 2015

Para promover un sitio web no basta con dar de alta el sitio web en distintos buscadores a través de su formulario de alta. Este alta es sólo una presentación necesaria pero no el método que conseguirá indexar páginas. Sólo una metodología permitirá que se indexen muchas aunque no garantiza que se indexen todas, sobre todo si el sitio tiene urls generadas dinámicamente, es decir, páginas que se genera a raíz de las consulta de usuarios, ya que los buscadores no son capaces de rellenar formularios para dar mostrar estas páginas.

Parece obvio que cuantas más páginas haya indexadas de un sitio más posibilidades tiene de ser encontrado, así que primero hagamos que se indexen la páginas, después que las páginas estén bien nombradas, para lo cual es importante que cada página tenga sus propias metaetiquetas personalizadas por ejemplo, entre otras consideraciones y directrices a tener en cuenta para indexar correctamente el contenido. Con el siguiente ejemplo se ve claramente.

Pongamos el caso de un sitio web tiene 1000 artículos que se muestran a través de una página dinámica después de que el usuario haga sus consultas de búsqueda. Los buscadores no son capaces de hacer la consulta, así que no indexará ninguno de ellos, ¡qué pena!, se ha perdido la oportunidad de ser encontrado por cualquiera de ellos, y el tiempo empleado no ha servido de nada, así que ¿es o no importante indexar todos los artículos del sitio?. Con un Sitemap se podrán indexar todos o casi todos los artículos para no perder oportunidades.

Recomendaciones para lograr indexar muchas páginas.

  • Colocar links estáticos a las páginas interiores en la página principal del sitio, esto ayudará a los buscadores a encontrar las páginas referenciadas en la home.
  • Poner un link a “mapa web” y poner en el mapa web todas las páginas ayudará mucho a los buscadores a encontrar el resto de páginas que no se pusieron en la home.
  • Facilitar al rastreador la lectura de las páginas generadas dinámicamente, no sólo con un sitemap, sino también poniendo links estáticos a las páginas más relevantes. Una vez se han indexado página hay que aprovechar las que más visitas reciben desde los buscadores para introducir los links a páginas que más queramos promocionar.
  • Crear y subir un sitemap a Google con todas las páginas que hay en el sitio, tanto las estáticas como las que se generan dinámicamente. Con el sitemap se resuelve el problema planteado en el ejemplo expuesto más arriba. A google también se le pueden presentar ficheros txt más fáciles de manejar para un no experto, ejemplo sitemap.txt. Utiliza webmaster tools de Google para declarar estos ficheros y conocer el volumen de páginas indexadas en Google.
  • Crear un urllist.txt para Yahoo! (ya no existe), ahora es bing, es un fichero mucho más sencillo que el sitemap pero tiene los mismos beneficios, este archivo sólo tiene el listado de todas las páginas del sitio.
  • Subir un fichero robots.txt que indique a los rastreadores qué directorios o páginas no debe indexar, ejemplo páginas muy pesadas que no tengan mucho interés como para ser indexadas.

Recomendaciones.

  • No utilizar flash como herramienta de diseño. Esto perjudica definitivamente la indexación, aunque actualmente Google lo pueda leer sigue siendo un impedimiento.
  • No poner nunca links que abren ventanas en un tamaño determinado y que no tengan salida, ya que el buscador puede finalizar ahí su rastreo (callejón sin salida).
  • No poner menús desplegables generados por scripts, ya que los buscadores no pueden leer. Si los pones utiliza un mapa del web y un sitemap para que los busdadores puedan rastrear las páginas.
  • No poner más de 100 links en cada página.
  • Generar páginas pesadas (imágenes muy grandes) que ralenticen el trabajo de los rastreadores.