Indexar todas las páginas del sitio.

Parece obvio que cuantas más páginas haya indexadas de un sitio más posibilidades tiene de ser encontrado (es importante que cada página tenga sus propias metaetiquetas personalizadas). Con el siguiente ejemplo se ve claramente.

Pongamos el caso de un sitio web tiene 1000 artículos que se muestran a través de una página dinámica después de que el usuario haga sus consultas. Los buscadores no son capaces de hacer la consulta, así que no indexará ninguno de ellos, qué pena, se ha perdido la oportunidad de ser encontrado por cualquiera de ellos ¿es importante o no indexar todos los artículos?. Con un Sitemap se podrán indexar todos los artículos.

Recomendaciones para lograr indexar muchas páginas.

• Colocar links estáticos a las páginas interiores en la página principal, sólo con dar de alta la página inicial los ratreadores localizarán las páginas interes, si el sitio es pequeño con esto bastará.
• Poner un link a "mapa web" y poner en el mapa web todas las páginas ayudará mucho a los buscadores.
• Que todas las páginas tengan un link de texto estatíco de vuelta a la página principal.
• Facilitar al rastreador la lectura de las páginas generadas dinámicamente, no sólo con un sitemap, sino también poniendo links estáticos a las páginas más relevantes.
• Crear y subir un sitemap a Google con todas las páginas posibles, tanto las estáticas como las que se generan dinámicamente. Con el sitemap se resuelve el problema planteado en el ejemplo expuesto más arriba.
• Crear un urllist.txt para Yahoo!, es un fichero mucho más sencillo que el sitemap pero tiene los mismos benefícios, este archivo sólo tiene el listado de todas las páginas del sitio.
• Subir un fichero robots.txt que indique a los rastreadores qué directorios o páginas no debe indexar, ejemplo páginas muy pesadas que no tengan mucho interés como para ser indexadas.

No se recomienda.

• Poner links tipo script que abren ventanas en un tamaño determinado, aunque hay soluciones el buscador podría no tener retorno al sitio web y finalizar ahí su rastreo (callejón sin salida).
• Menús desplegables generados por scripts, ya que los buscadores no pueden leer. Estos se soluciona con un mapa del web o con un sitemap.
• Poner más de 100 links en cada página.
• Generar páginas pesadas que ralenticen el trabajo de los rastreadores.