Acaba de pasar por mi sitio el nuevo spider de Yahoo:
Agent: Mozilla/5.0 (compatible; Yahoo! Slurp;
http://help.yahoo.com/help/us/ysearch/slurp)Pero vaya problemilla la mía.
Tengo desde un mes el problema con Inktomi que solo lee el robots.txt, he posteado en webmasterword el tema y comprobado el robots.txt y está correcto, he escrito a Inktomi dos veces, pero siguen leyendo solo robots.txt.
Y ese nuevo spider ha hecho lo mismo.........ya no sé que más hacer.