Web Scraping Campo Dinamico

bigpetroman · el 3 de agosto

Saludos amigos, anteriormente yo he realizado Web Scraping obteniendo valores de tablas y esas cosas, hoy estoy intentando con esta simple página

http://preev.com/

que me muestra el valor del BTC, y pues no logro obtener ese valor, si alguien puede echar una mano

gracias

Abraham Valencia · el 3 de agosto

Hola

Hay cuatro elementos/objetos ¿de cuál quieres obtener el valor? Supongo que de las listas no ¿entonces? Y sobre todo ¿cuál es el dilema? Por lo menos a primera vista no lo termino de entender ¿supuestamente cambian los nombres de esos elementos/objetos?

Abraham Valencia

José_Santos · el 3 de agosto

Hola,

En principio el cambio para el Bitcoin / USD lo puedes conseguir accediendo al fichero JSON que encuentras en esta URL: http://preev.com/pulse/units:btc+usd/sources:bitstamp+kraken

La información que extraes del JSON es la que puedes ver en la imagen que he adjuntado.

Parece que devuelve el cambio de dos proveedores de precios.

Saludos.

bigpetroman · el 3 de agosto

Hace 2 horas, avalencia dijo:

Hola

Hay cuatro elementos/objetos ¿de cuál quieres obtener el valor? Supongo que de las listas no ¿entonces? Y sobre todo ¿cuál es el dilema? Por lo menos a primera vista no lo termino de entender ¿supuestamente cambian los nombres de esos elementos/objetos?

Abraham Valencia

Gracias por el Interes, el valor que deseo obtener es el que muestra en segundo cuadro de texto, que es el valor del BTC

bigpetroman · el 3 de agosto

Hace 2 horas, José_Santos dijo:

Hola,

En principio el cambio para el Bitcoin / USD lo puedes conseguir accediendo al fichero JSON que encuentras en esta URL: http://preev.com/pulse/units:btc+usd/sources:bitstamp+kraken

La información que extraes del JSON es la que puedes ver en la imagen que he adjuntado.

Parece que devuelve el cambio de dos proveedores de precios.

Saludos.

Gracias, vere si logro hacer algo usando la URL que indicas, pense inicialmente que seria el valor promedio de ambos valores, pero NO da el mismo valor que muestra la página, seguire indagando a ver si lo logro.

por lo general, la forma que lo hacia yo era obteniendo el campo por su ID o por el classname y luego simplemente leo su contenido, pero con este campo no me funciona,

Abraham Valencia · el 4 de agosto

Comenta cuál es el método que intentas y que dices no funciona, quizá viéndolo sea más fácil darte una salida sobre ese mismo.

Lo otro es que adaptes y/o generes código para seguir la forma en que José sugiere.

Comentas.

Abraham Valencia

José_Santos · el 4 de agosto

La cotización de la Web no es la real, como ves está redondeado. Seguramente tomen cualquiera de los dos precios y lo redondeen o quizás hagan algún calculo con las dos cotizaciones y el resultado lo redondeen también. Igual si miras el código HTML de la web veas que calculo exacto hacen.

A veces, en Web Scraping, el ID o className no vale, a mucha información accedes a través de XML o JSON, como en este caso.

Para extraer los precios que aparecen en esa URL solo tienes que tratar los datos con la función split como si fuera texto, o si alguien tiene un método para leer JSON con VBA, mejor.

digitalboy · el 10 de agosto

En 3/8/2019 at 14:43 , bigpetroman dijo:

Saludos amigos, anteriormente yo he realizado Web Scraping obteniendo valores de tablas y esas cosas, hoy estoy intentando con esta simple página

http://preev.com/

que me muestra el valor del BTC, y pues no logro obtener ese valor, si alguien puede echar una mano

gracias

Hola @bigpetroman

Ya probaste con lo siguiente:

Option Explicit

Sub test()
Dim IE As Object
Set IE = CreateObject("InternetExplorer.Application")
With IE
  .Visible = True
  .navigate "http://preev.com/btc/usd"
  Application.Wait Now + TimeValue("00:00:02")
  Debug.Print Split(.document.Title, " ")(0)
  .Quit
End With
End Sub

Saludos!

digitalboy · el 10 de agosto

En 3/8/2019 at 17:30 , bigpetroman dijo:

por lo general, la forma que lo hacia yo era obteniendo el campo por su ID o por el classname y luego simplemente leo su contenido, pero con este campo no me funciona,

Ese mismo valor esta en el titulo de la pagina. A mi se me hizo mas fácil mejor tomarlo de ahí. Cada ciertos segundos se va actualizando.

bigpetroman · el 10 de agosto

Hace 11 horas, digitalboy dijo:

Hola @bigpetroman

Ya probaste con lo siguiente:


Option Explicit

Sub test()
Dim IE As Object
Set IE = CreateObject("InternetExplorer.Application")
With IE
  .Visible = True
  .navigate "http://preev.com/btc/usd"
  Application.Wait Now + TimeValue("00:00:02")
  Debug.Print Split(.document.Title, " ")(0)
  .Quit
End With
End Sub

Saludos!

Muchas gracias @digitalboy, efectivamente si trae el valor, yo intente algo parecido con el objeto "MSXML2.XMLHTTP", pero no me funciono, la propiedad .title siempre está vacia

Sub Valor_preev_new()
    Dim sResponse As String
    Dim HTML As New HTMLDocument
    
    
    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", "http://preev.com/btc/usd", False
        .send
        sResponse = .responseText
    End With
    With HTML
        .body.innerHTML = sResponse
        Debug.Print .Title 'SIEMPRE ESTA VACIO
    End With
        
End Sub

Al final lo realice de dos maneras, una como dice el amigo @José_Santos. usando la URL: http://preev.com/pulse/units:btc+usd/sources:bitstamp+kraken tomo 10 los valores seguidos en intervalos de 2 segundos y saco el promedio (los valores rara vez son iguales al mostrado en la página)

y la otra forma, que sí da el valor practicamente igual al de la página preev.com fue tomando los valores de bitstamp y kraken de otra página (por ejemplo "https://es.investing.com/crypto/bitcoin/btc-usd") y hacer el promedio, al final es la forma que se está usando.

la del amigo @digitalboy es una buena opción, lo que no me gusta es la carga de IE, pero bueno

Gracias a todos

José_Santos · el 10 de agosto

Hace 25 minutos , bigpetroman dijo:
Muchas gracias @digitalboy, efectivamente si trae el valor, yo intente algo parecido con el objeto "MSXML2.XMLHTTP", pero no me funciono, la propiedad .title siempre está vacia
Sub Valor_preev_new()
    Dim sResponse As String
    Dim HTML As New HTMLDocument
    
    
    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", "http://preev.com/btc/usd", False
        .send
        sResponse = .responseText
    End With
    With HTML
        .body.innerHTML = sResponse
        Debug.Print .Title 'SIEMPRE ESTA VACIO
    End With
        
End Sub
Al final lo realice de dos maneras, una como dice el amigo @José_Santos. usando la URL: http://preev.com/pulse/units:btc+usd/sources:bitstamp+kraken tomo 10 los valores seguidos en intervalos de 2 segundos y saco el promedio (los valores rara vez son iguales al mostrado en la página)

y la otra forma, que sí da el valor practicamente igual al de la página preev.com fue tomando los valores de bitstamp y kraken de otra página (por ejemplo "https://es.investing.com/crypto/bitcoin/btc-usd") y hacer el promedio, al final es la forma que se está usando.

la del amigo @digitalboy es una buena opción, lo que no me gusta es la carga de IE, pero bueno

Gracias a todos

@bigpetroman

No hay color entre hacerlo con MSXML2.XMLHTTP a hacerlo con IE, el segundo método es muy lento en el caso de que en el proceso se quieran extraer varias URL´s, aunque, para este caso en particular es idóneo.

El valor del Bitcoin de esta Web no es real ya que está redondeado... te aconsejo lo extraigas de otras maneras alternativas como has comentado.

Saludos.