Saludos

Hace ya más de un mes que reemplacé las urls dinámicas de un portal por urls estáticas .html y sin variables, el reemplazo fue manual en cada página, y las urls estáticas son redirigidas a las urls dinámicas internamente por el módulo de Apache modrewrite.


Las pocas urls que quedaron sin reemplazar fueron "baneadas" mediante el atributo "nofollow" del enlace, y a parte en el archivo "robots.txt" indiqué las urls que eran deshabilitadas para los crawlers, ej:

User-agent: Googlebot
Disallow: modules.php
Disallow: /foros/index.php
...


User-agent: *
Disallow: modules.php
Disallow: /foros/index.php?*
...


También creé y envíe el nuevo SiteMap a Google después de completar el reemplazo de las urls de las páginas del Portal.


Sin embargo desde entonces los robots de los buscadores siguen explorando el Portal a través de las antiguas urls dinámicas y en el índice de Google con los resultados indexados del Portal siguen apareciendo las urls dinámicas antiguas..


Temo además que Google haya penalizado las páginas con urls estáticas del Portal, por detectar contenido duplicado al encontrar las nuevas direcciones estáticas del Portal con el mismo contenido que las antiguas que tendrían que ser eliminadas de su índice.


Me gustaría saber cómo tengo que proceder para impedir a los buscadores seguir explorando esas urls dinámicas antiguas (que ya no aparecen en el Portal o bien están "baneadas" con "nofollow") y eliminar del índice de Google las viejas urls dinámicas por las nuevas urls estáticas.



Un saludo

Para esta cosas google es asquerosamente lento y yahoo peor. No se como ira la cosa con un PR6 pero con PR4 o inferior es desesperante.

Si, tienes razón cocososo, habrá que tener muuucha paciencia como siempre y esperar, que es lo único que nos permite el poderoso Google.

Lo último que he hecho es volver a generar y enviar un SiteMap actualizado del Portal y borrar de la cuenta SiteMaps el anterior antes de subir el nuevo, también les he enviado a Google varios reportes y mails comentando el problema, ya os comentaré si se soluciona al final.

Dios, si te contestan con un mínimo de coherencia a los mails, serás mi ídolo con pies de barro.

Paciencia y no confíes en el nofollow. Siempre tienes la opción de "borrado exprés" de Google pero a lo mejor se lo toma a mal y te borra hasta las cejas

en el último problema que tuve en mis resultados en Google (Redirección 301: http://www.forobuscadores.com/foros/index....showtopic=6729)

me contestaron a algun mensaje y hasta parecía que se habían leído mi mensaje, veremos esta vez




Jumiya ¿con el borrado exprés te refieres a ese formulario de Google para dar de baja algunas páginas?

nunca tuve la oportunidad de probarlo y ahora ya me has metío miedo


gracias por los comentarios

Sí, se debe referir a la Consola.

http://services.google.com:8882/urlconsole...d&lastcmd=login

Tal vez dé buen resultado en este caso, aunque imagino que te quedarías sin visitas en el período de transición, durante el paso de URLs estáticas a dinámicas, sólo por esto ya no la utilizaría. Aunque no tiene muchos riesgos, suele funcionar bien (salvo error del webmaster con el robots ), tampoco me arriesgaría, porque es un caso frecuente el que tienes, duplicación de páginas a nivel interno (phpbb, wordpress, cientos de scripts comunes tienen este problema y funcionn bien) y es cuestión de tiempo si tienes los enlaces y la estructura adecuada (siempre navegando por las nuevas urls estáticas).

Ok perfecto, pues nada a esperar con calma.


Un saludo

En lo que veo problema es en que siga enlazando a las dinámicas usando nofollow. Por lo demás, implementé hace un par de meses un cambio de URLs y G tardó su tiempo en pillar las 301s. Justo lo hizo coincidiendo con la actualización del 27 y se recuperó la ligera pérdida de posiciones

off-topic: Hobo, cuidado no te quemes...

Bueno han quedado muy pocas urls dinámicas (que tienen el nofollow), pero no son problema porque esas urls no están replicadas con urls estáticas, asi que no importa que Google al final también las indexe ya que no tienen réplica.

Por ejemplo en el caso de los Foros, están convertidas a estáticas las urls de cada Foro y de cada Hilo, y las versiones dinámicas no aparecen ya en todo el portal, las urls dinámicas que quedaron son las que te llevan al último post de cada hilo, que esas no han sido convertidas porque no nos interesa que Google las indexe ya que ya tendrá todo el hilo indexado a través de la url estática del Hilo (q incluye todos los posts). Sin embargo si la sigue, como no tiene otra réplica estática pues no sería grave.


Saludos

Si hablamos de PHPBB, el enlace que te lleva al último post en realidad es un enlace al post más el anchor. O sea que sí estás duplicando.

Usar el nofollow internamente no me ha convencido nunca, pero si esos enlaces llevan a contenido que sí interesa indexar/puntuar (aunque sea bajo otra URL), menos.

Bueno, tú conocerás mejor tu web que yo

No es PHPBB es Invision.

Esas urls que tienen el Nofollow no interesa que sean seguidas ni indexadas, porque la url de cada hilo ya incluye todos los posts del hilo, y si esas son estáticas y están indexadas no es necesario que GoogleBot siga ni indexe ninguna más (sin contar la de cada foro que también son estáticas).

Si lo entiendo. Pero dime(o no), ¿por qué "desperdiciar" un enlace interno?

Es que el problema está en que la página de contenido a la que llegan los enlaces estáticos de cada hilo es igual a la que llegan los enláces dinámicos de ÚLTIMO POST, la única diferencia es que el enlace dinámico te posiciona la vista de la página en el principio del último post, pero el contenido es el mismo.

Por lo tanto no se puede convertir ese enlace dinámico en un enlace estático, porque Google penalizaría que hubieran 2 urls diferentes que llevasen a una página con el mismo contenido, y no se les puede poner la misma url estática que la de los hilos, porque entonces no te posicionarían la vista en el último post.

Por eso esas urls dinámicas que quedan están baneadas desde el robots.txt y también atribuídas con "nofollow".


¿Qué propones Jumiya?

Las urls de este tipo:

dominio/pagina.php?var=valor#posicion

pueden reemplazarse por esto:

dominio/direccion-estatica.html#posicion

Sí eso sí, lo que pasa que las únicas urls dinámicas que conservo en mi Home, son las que te llevan a ese último post de los últimos hilos comentados en el Foro, y esos enlaces son de este tipo:

/foros/index.php?showtopic=XX&view=getlastpost

luego ya el sistema de los foros dinámicamente te redirige al último post del hilo (que está cambiando continuamente y por eso se usa esa url) que es de este tipo:

/foros/index.php?showtopic=XX&st=0&#entryYYYYY


No sé si tendrá alguna ventaja el rewritear la 1ª url con una url estática, porque al final te va a llevar a una página de un hilo que es donde está el contenido que tiene que indexar el GoogleBot y que ya posee su correspondiente url estática del tipo:

/foros/tema-XXXX.html


Un saludo

¿Ya hemos olvidado aquello de Google interprets a link from page A to page B as a vote, by page A, for page B?

Si, un enlace un voto...

pero mis dudas vienen de que tener 2 urls DIFERENTES apuntando a una página web CON EL MISMO CONTENIDO puede resultar en una penalización de alguna de las 2 urls por parte de Google, ya que detecta contenido "duplicado" en urls diferentes, y como hay una url que me interesa que sea indexada perfectamente:

/foros/tema-XXXX.html


y la otra (que es la que te lleva al mismo hilo pero centrando la vista de la página en el último post del hilo) no tiene sentido que sea indexada (ya que el contenido es el mismo), pues no quiero correr el riesgo de rewritear las 2 urls a estáticas para que Google "penalice" una de las 2 urls a su antojo (ya que no sabemos cuál va a indexar y cuál va a rechazar).

¿Pero no puedes hacer que la URL sea la misma? (el anchor dirigido al último post no te contará como duplicado).

Ok, ¿te refieres a añadir el " #entryYYYYY " de la url dinámica al final de la estática: tema-XXXX.html ?

Pues voy a probarlo a ver si añadiéndole eso te centra la página en el último post, si va entonces lo cambio...

Básicamente era lo que te decía Coco