Encontre esta herramienta:

http://www.links-rotos.com/

mi pregunta es si se comporta como el robot de google

Hola, soy el creador de links-rotos.com y he visto el comentario en el foro y no me he podido resistir a comentarlo.

Dices "google sí sigue algunos enlaces que esta herramienta no seguirá". La verdad no se de donde te has sacado esa información.

De hecho hoy he acabado de implementar los enlaces dentro de frames, image maps, iframes, y javascript. Por lo tanto los únicos enlaces propiamente dichos que me quedan por implementar son applets de java y flash, y esos no creo que google los siga en mucho tiempo.

Los enlaces javascript hasta hace muy poco se creía que google los ignoraba, pero ahora parece que hay noticias que está comenzando a seguirlos. Veo prácticamente que imposible que rastree todos los posibles enlaces javascript, pues necesitaria implementar una máquina virtual y ejecutar el código, pero puede hacer como mi herramienta, que es simplemente que si se detecta una instrucción window.open o document.location, extraer la url y tomarla como enlace.

Y por lo que dice el que ha iniciado el post, sí, mi idea es que la herramienta emule lo máximo posible a google.

Saludos.

Agradecemos tu comentario. Pero el comentario que hizo Jumiya se refería al texto que enmarca, supongo que extraido de la página web... Y, basad efectivamente en lo que en ese momento estaba escrito, el comentario era totalmente acertado, ya que Google sigue algunos de los enlaces publicados en la lista.

Si desde entonces se han incluido mejoras, quedan fuera del comentario, y este quedaría caduco, aunque siempre está bien, y por supuesto agradecemos, que aqui informes de las mejoras realizadas.

Bienvenido al foro MRCM,

Copperfie ya lo ha dicho casi todo. También me alegra que hayas actualizado tu herramienta y ahora semeje con más exactitud el comportamiento de Google. Si quieres seguir avanzando más en esa emulación tu herramienta debería seguir enlaces en FLASH y en archivos como PDF.

Saludos

Hola, gracias por la bienvenida.

Jumiya, mi idea no es emular a google, sino crear una herramienta util para los webmasters, tanto para los que quieran comprobar si su web es correcta como los interesados en optimizacón en buscadores, cosa que el validador de enlaces del consorcio no realiza, además que mi programa es bastante más rápido.

Partiendo del mismo robot estoy realizando mas utilidades, como el comprobador de enlaces recíprocos, www.links-reciprocos.com que aun está en pruebas.

Como ideas que aun no he acabado pero estoy haciendolas es rastrear para detectar imagenes rotas, un simulador del googlebot que haga una aditoria de la web para google y un formulario con opciones avanzadas donde se pueda personalizar el rastreo.

Saludos.

A ver Rubén.. si está muy claro..

Lo que quiero es simular el comportamiento de googlebot... pero lo que no voy a hacer es un google, un buscador, sino una herramienta de utilidades para webmasters. Cosas que tengan utilidad.

Y lo que quiero decirle a Jumiya es que no tengo tiempo ni ganas de ponerme a seguir enlaces en ficheros flash o pdfs, y que si él quiere meter en sus webs enlaces de ese tipo por mí que ponga todos los que quiera, como si en vez de hacer documentos html quiere hacer ficheros .doc de word... por mi encantado.

Gracias por la bienvenida

Me parece que no ha sido una buena acogida, la verdad. Hago una herramienta que creo que puede ser de puta madre para todos los webmasters y tan sólo leo críticas absurdas y ni un sólo comentario favorable... increible, está visto que la envida es una cosa muy mala.

En fin, que tengo bastantes más cosas que hacer que estar discutiendo por gilipolleces. Al que le guste que la utilize y al que no pues no.

Y visto lo visto no creo que me pase mucho por este foro.

Ahh.. por cierto.. de donde os habeis sacado que google siga los enlaces dentro de Flash o pdfs.. porque si eso es lo que pensais es que no teneis ni puta idea.

pues yo inicie el post pq me gusta la herramienta, creo q tiene mucho potencialy si la combinas con essa tabla que calcual el pr interno estaria muy bien para ver diferentes configuraciones.

Y si quieres ver como sigue enlaces en FLASH, a mi humilde entender,

Haciendo un link:www.flashkit.com, vemos en la novena página:

http://www.google.com/search?q=link:www.fl...8&start=80&sa=N

[FLASH] www.vegamediadesign.com/flashsite/vmdflash.swf
Formato de archivo: Shockwave Flash
Páginas similares

SWF que también tiene un enlace a www.commarts.com y que aparece en la búsqueda link: correspondiente:

http://www.google.com/search?q=link:www.co...&start=160&sa=N

Ahora bien, si tú, MRCM, o alguien tiene otra explicación al respecto me gustaría oirla y salir de mi error. No será ni la primera ni la última vez que me equivoco o que me invento una respuesta.

al004092 gracias, muy buena idea.. la tendré en cuenta.

Y al resto.. en fin... que os den mucho por el culo.

espero q en FDW seas más educado

Cuando a uno no le quedan argumentos para debatir siempre acaba perdiendo las formas, en fin ...

Vaya movida...
Pensé que discutir por una estupidez sólo se hacía las noches de los Viernes-Sabados

Es algo realmente increible la inteligencia humana. Puede ser a la vez lo suficientemente elevada como para permitir implementar un programa informático de alto nivel y sin embargo no permitir mantener una simple conversación con un mínimo de "saber estar" y sentido común.

Pero qué manera más tonta de perder el tiempo...

Me parece una falta de respeto entrar asi a un foro, insultando a la gente. Apuesto lo que sea que llevas tiempo leyendo y aprendiendo gracias a los consejos de ucha gente ... asi que no es justo que insultes y que digas que nadia tiene ni puta idea.

yo tambien he hecho y compartido herramientas y a algunos les han gustado y a otros no ... pero se supone que las herramientas las he hecho para mi y si a los demas no els sirven o no les gustan es su problema porque a mi me hacen tu funcion.

Si piensas que tu programa es la leche me alegro por ti ... pero no esperes que todo el mundo te de una palmadita en la espalda. Si no quieres criticas no las pidas

No os va a contestar, está baneado. No se ha leido las normas del foro

He leido en varios lados que Google no detecta links en paginas construidas en flash.
Señores, esto es incorrecto, google detecta los links realizados en flash, vean este claro ejemplo:
El sitio www.barsaexel.com.ar esta hecho 100% en Flash, y contiene un sólo enlace a www.criweb.com.ar
Si buscan en google link:http://www.criweb.com.ar encontrarán que google capturo ese link.

Lo siento, lo pasé por alto, si es posible y no es molestia, borren mi anterior post.

Bueno, tenemos otro ejemplo

Hola,

Sobre el tema de Flash y PDF, las especificaciones del formato de esos ficheros es "abierta" (no me he leido la licencia completa). Es decir, en la pagina de adobe y macromedia te puedes bajar un fichero que te detalla el contenido de esos ficheros. Gracias a esto cualquiera puede escribir un programa que genere un swf o un pdf valido. Por ejemplo, en PHP hay clases integramente hechas en PHP que te permiten crear PDF al vuelo en tu pagina web.

No se si esas licencias dan permiso para extraer datos de los ficheros. Pero en caso que lo permita, imagino que los links estaran en esos ficheros dentro de unos <tags> determinados, por lo que puede ser "facil" listarlos.

Lo que quizas pase es que sea un proceso "pesado" para implementarlo en una aplicacion web (entorno con restricciones de memoria).

Ademas, creo que el "analisis" de HTML es "muy facil", sobre todo porque un tema muy tratado. Por ejemplo, si no recuerdo mal, PERL viene por defecto con un paquete que te permite extraer los contenidos de las etiquetas HTML. Con una sola linea de codigo puedes leer todos los <a> de una pagina. PERL tambien tiene un paquete que funciona como un USERAGENT. Y en PHP (en PEAR), creo que hay una clase que tambien te parsea HTML. Con esto no quiero quitar merito a esta herramienta. No conozco el codigo. Y por muy facil que parezca tal como lo pongo, lo dificil es juntar las piezas y crear la funcionalidad que ofrece. Lo mas dificil es hacer que funcione como debe funcionar, bien y rapido. Y que sea util.

Saludos.

PD: Creo que el problema aqui fue que no entendio el sentido del humor de alguna de las primeras respuestas. Se las tomo como ataques, se puso a la defensiva, y el resto fue una escalada dialectica. Creo que la gente tendria que aprender a usar la ventaja que tienen los foros sobre los chats: no es en tiempo real. Y esto te da la oportunidad de no contestar cuando estas "caliente", pensar lo que vas a decir, y como lo vas a decir. Y tambien la gente debe recordar que por muchos smiles, no se puede transmitir lo lo mismo que en una conversacion cara a cara.

Por cierto, con el troll creo que nos hemos olvidado de darte la bienvenida a ti, así que bienvenido, Josemi.

Gracias.

Llevaba tiempo visitanto el foro en calidad de "solo lectura". Estais haciendo un buen trabajo.

Seguid asi.

Josemi,

Quizá te interese este post antiguo en que se presenta y comenta una herramienta muy interesante

http://www.forobuscadores.com/foros/index....?showtopic=1041

Saludos y gracias por la explicación

Gracias por el link.

Lo que pasa es que esa herramienta es "interesante" por la funcionalidad que ofrece a la gente. Lo cual tiene su merito.

Pero como yo soy programador, veo las aplicaciones de otra forma. A mi me pareceria "interesante" saber como lo hace. Y para esto de los SWF he encontrado esta pagina OpenSWF

Y he ido a la seccion de CODE, y el primer codigo es de parseo de SWF. He hecho una prueba y tiene la opcion de mostrar los tags del fichero. Y no conozco Flash, pero creo que los links externos los debes hacer con actionscript con un geturl. Y la salida de ese programa para esos geturl es de este tipo:

action code 0x83 has length 19 getUrl index.html target _parent

Asi que localizar los links no "parece" muy dificil. Claro, una cosa es localizar en el swf los links y otra distinta crear una herramienta util. Ese es el gran reto de las aplicaciones.

Saludos.

<autonota mental>Aprender a tener mi boca cerrada.</autonota mental>

No, si la verdad me lo merezco, por bocazas. Bueno, lo tomare como un reto: hacer un script PHP que liste los links de un swf. Por lo menos lo intentare. Ya os avisare con las novedades.

Saludos.

PD: ¿Quien me mandaba meterme en estos lios? Al pelearme con el ordenador se ha dicho