Saltar al contenido

Web Scraping Campo Dinamico


Recommended Posts

publicado

Saludos amigos, anteriormente yo he realizado Web Scraping obteniendo valores de tablas y esas cosas, hoy estoy intentando con esta simple página

http://preev.com/

que me muestra el valor del BTC, y pues no logro obtener ese valor, si alguien puede echar una mano

gracias

publicado

Hola

Hay cuatro elementos/objetos ¿de cuál quieres obtener el valor? Supongo que de las listas no ¿entonces? Y sobre todo ¿cuál es el dilema?  Por lo menos a primera vista no lo termino de entender ¿supuestamente cambian los nombres de esos elementos/objetos?

Abraham Valencia

publicado
Hace 2 horas, avalencia dijo:

Hola

Hay cuatro elementos/objetos ¿de cuál quieres obtener el valor? Supongo que de las listas no ¿entonces? Y sobre todo ¿cuál es el dilema?  Por lo menos a primera vista no lo termino de entender ¿supuestamente cambian los nombres de esos elementos/objetos?

Abraham Valencia

Gracias por el Interes, el valor que deseo obtener es el que muestra en segundo cuadro de texto, que es el valor del BTC

publicado
Hace 2 horas, José_Santos dijo:

Hola,

En principio el cambio para el Bitcoin / USD lo puedes conseguir accediendo al fichero JSON que encuentras en esta URL: http://preev.com/pulse/units:btc+usd/sources:bitstamp+kraken

La información que extraes del JSON es la que puedes ver en la imagen que he adjuntado.

Parece que devuelve el cambio de dos proveedores de precios.

Saludos.

14.png

Gracias, vere si logro hacer algo usando la URL que indicas, pense inicialmente que seria el valor promedio de ambos valores, pero NO da el mismo valor que muestra la página, seguire indagando a ver si lo logro.

por lo general, la forma que lo hacia yo era obteniendo el campo por su ID o por el classname y luego simplemente leo su contenido, pero con este campo no me funciona,

 

publicado

Comenta cuál es el método que intentas y que dices no funciona, quizá viéndolo sea más fácil darte una salida sobre ese mismo.

Lo otro es que adaptes y/o generes código para seguir la forma en que José sugiere.

Comentas.

Abraham Valencia

publicado

La cotización de la Web no es la real, como ves está redondeado. Seguramente tomen cualquiera de los dos precios y lo redondeen o quizás hagan algún calculo con las dos cotizaciones y el resultado lo redondeen también. Igual si miras el código HTML de la web veas que calculo exacto hacen.

A veces, en Web Scraping, el ID o className no vale, a mucha información accedes a través de XML o JSON, como en este caso.

Para extraer los precios que aparecen en esa URL solo tienes que tratar los datos con la función split como si fuera texto, o si alguien tiene un método para leer JSON con VBA, mejor.

publicado
En 3/8/2019 at 14:43 , bigpetroman dijo:

Saludos amigos, anteriormente yo he realizado Web Scraping obteniendo valores de tablas y esas cosas, hoy estoy intentando con esta simple página

http://preev.com/

que me muestra el valor del BTC, y pues no logro obtener ese valor, si alguien puede echar una mano

gracias

Hola @bigpetroman

Ya probaste con lo siguiente:

Option Explicit

Sub test()
Dim IE As Object
Set IE = CreateObject("InternetExplorer.Application")
With IE
  .Visible = True
  .navigate "http://preev.com/btc/usd"
  Application.Wait Now + TimeValue("00:00:02")
  Debug.Print Split(.document.Title, " ")(0)
  .Quit
End With
End Sub

Saludos!

publicado
En 3/8/2019 at 17:30 , bigpetroman dijo:

por lo general, la forma que lo hacia yo era obteniendo el campo por su ID o por el classname y luego simplemente leo su contenido, pero con este campo no me funciona,

 

Ese mismo valor esta en el titulo de la pagina. A mi se me hizo mas fácil mejor tomarlo de ahí. Cada ciertos segundos se va actualizando.

publicado
Hace 11 horas, digitalboy dijo:

Hola @bigpetroman

Ya probaste con lo siguiente:


Option Explicit

Sub test()
Dim IE As Object
Set IE = CreateObject("InternetExplorer.Application")
With IE
  .Visible = True
  .navigate "http://preev.com/btc/usd"
  Application.Wait Now + TimeValue("00:00:02")
  Debug.Print Split(.document.Title, " ")(0)
  .Quit
End With
End Sub

Saludos!

Muchas gracias @digitalboy, efectivamente si trae el valor, yo intente algo parecido con el objeto "MSXML2.XMLHTTP", pero no me funciono, la propiedad .title siempre está vacia

 

Sub Valor_preev_new()
    Dim sResponse As String
    Dim HTML As New HTMLDocument
    
    
    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", "http://preev.com/btc/usd", False
        .send
        sResponse = .responseText
    End With
    With HTML
        .body.innerHTML = sResponse
        Debug.Print .Title 'SIEMPRE ESTA VACIO
    End With
        
End Sub

Al final lo realice de dos maneras, una como dice el amigo @José_Santos. usando la  URL: http://preev.com/pulse/units:btc+usd/sources:bitstamp+kraken  tomo 10 los valores seguidos en intervalos de 2 segundos y saco el promedio (los valores rara vez son iguales al mostrado en la página)

 

y la otra forma, que sí da el valor practicamente igual al de la página preev.com fue tomando los valores de bitstamp y kraken de  otra página (por ejemplo "https://es.investing.com/crypto/bitcoin/btc-usd") y hacer el promedio, al final es la forma que se está usando.

la del amigo @digitalboy es una buena opción, lo que no me gusta es la carga de IE, pero bueno

 

Gracias a todos

 

 

 

publicado
Hace 25 minutos , bigpetroman dijo:

Muchas gracias @digitalboy, efectivamente si trae el valor, yo intente algo parecido con el objeto "MSXML2.XMLHTTP", pero no me funciono, la propiedad .title siempre está vacia

 


Sub Valor_preev_new()
    Dim sResponse As String
    Dim HTML As New HTMLDocument
    
    
    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", "http://preev.com/btc/usd", False
        .send
        sResponse = .responseText
    End With
    With HTML
        .body.innerHTML = sResponse
        Debug.Print .Title 'SIEMPRE ESTA VACIO
    End With
        
End Sub

Al final lo realice de dos maneras, una como dice el amigo @José_Santos. usando la  URL: http://preev.com/pulse/units:btc+usd/sources:bitstamp+kraken  tomo 10 los valores seguidos en intervalos de 2 segundos y saco el promedio (los valores rara vez son iguales al mostrado en la página)

 

y la otra forma, que sí da el valor practicamente igual al de la página preev.com fue tomando los valores de bitstamp y kraken de  otra página (por ejemplo "https://es.investing.com/crypto/bitcoin/btc-usd") y hacer el promedio, al final es la forma que se está usando.

la del amigo @digitalboy es una buena opción, lo que no me gusta es la carga de IE, pero bueno

 

Gracias a todos

 

 

 

@bigpetroman

No hay color entre hacerlo con MSXML2.XMLHTTP a hacerlo con IE, el segundo método es muy lento en el caso de que en el proceso se quieran extraer varias URL´s, aunque, para este caso en particular es idóneo.

El valor del Bitcoin de esta Web no es real ya que está redondeado... te aconsejo lo extraigas de otras maneras alternativas como has comentado.

Saludos.

 

Archivado

Este tema está ahora archivado y está cerrado a más respuestas.

  • 109 ¿Te parecen útiles los tips de las funciones? (ver tema completo)

    1. 1. ¿Te parecen útiles los tips de las funciones?


      • No
      • Ni me he fijado en ellos

  • Ayúdanos a mejorar la comunidad

    • Donaciones recibidas este mes: 0.00 EUR
      Objetivo: 130.00 EUR
  • Archivos

  • Estadísticas de descargas

    • Archivos
      188
    • Comentarios
      98
    • Revisiones
      29

    Más información sobre "Cambios en el Control Horario"
    Última descarga
    Por pegones1

    4    1

  • Crear macros Excel

  • Mensajes

    • Hola, veo que tienes 365, así que esta forma funcionará   Almacen.xlsx
    • Buenos días  @LeandroA espero estes bien Tengo un caso idéntico al planteado en la siguiente pregunta: Sin embargo, a diferencia de quien planteo originalmente la pregunta al correr el código no obtengo ningún resultado podrían ayudarme a resolver este inconveniente y que al hacer click en el Botón Guardar (CommandButton3) del Formulario RCS (frmrcs) el archivo pdf quede configurado con orientación vertical, márgenes superior, inferior, derecho e izquierdo = 1 y en página tamaño carta. Si acaso influye uso Microsoft Excel LTSC MSO (versión 2209 Compilación16.0.1.15629.20200) de 64 bits Mucho le sabre agradecer la ayuda que me pueda dar  RCS PRUEBA - copia.xlsm
    • @JSDJSDCon gusto mi estimado Para la opción 1: Sub Surtirhastadondealcanse() Dim ws As Worksheet Set ws = ThisWorkbook.Sheets(1) Dim filaInicio As Integer: filaInicio = 4 Dim filaFin As Integer: filaFin = 7 Dim colInventario As Integer: colInventario = 2 Dim colSolicitudesInicio As Integer: colSolicitudesInicio = 4 ' Columna C Dim colResultadoInicio As Integer: colResultadoInicio = 9 ' Columna I Dim colTotalSurtido As Integer: colTotalSurtido = 12 ' Columna L Dim colFinalInventario As Integer: colFinalInventario = 13 ' Columna M Dim numClientes As Integer: numClientes = 3 Dim fila As Integer, i As Integer For fila = filaInicio To filaFin Dim inventario As Double inventario = Val(ws.Cells(fila, colInventario).Value) Dim solicitudes(1 To 3) As Double Dim surtido(1 To 3) As Variant Dim totalSurtido As Double: totalSurtido = 0 ' Leer solicitudes For i = 1 To numClientes If IsNumeric(ws.Cells(fila, colSolicitudesInicio + i - 1).Value) Then solicitudes(i) = CDbl(ws.Cells(fila, colSolicitudesInicio + i - 1).Value) Else solicitudes(i) = 0 End If surtido(i) = "POR FALTA STOCK" Next i ' Surtir de acuerdo al inventario disponible For i = 1 To numClientes If solicitudes(i) > 0 Then If inventario >= solicitudes(i) Then surtido(i) = solicitudes(i) inventario = inventario - solicitudes(i) totalSurtido = totalSurtido + solicitudes(i) ElseIf inventario > 0 Then surtido(i) = inventario totalSurtido = totalSurtido + inventario inventario = 0 Else surtido(i) = "POR FALTA STOCK" End If End If Next i ' Escribir resultados en las columnas correspondientes para cada cliente For i = 1 To numClientes With ws.Cells(fila, colResultadoInicio + i - 1) If surtido(i) = "POR FALTA STOCK" Then .Value = surtido(i) .Font.Color = vbRed Else .Value = surtido(i) .Font.Color = vbBlack End If End With Next i ' Escribir total surtido y existencia final ws.Cells(fila, colTotalSurtido).Value = totalSurtido ws.Cells(fila, colFinalInventario).Value = inventario Next fila MsgBox "Resultado surtido cargado con éxito...", vbInformation End Sub Para la opción 2:   Sub surtirenpartesiguales() Dim ws As Worksheet Set ws = ThisWorkbook.Sheets(1) Dim filaInicio As Integer: filaInicio = 13 Dim filaFin As Integer: filaFin = 16 Dim colInventario As Integer: colInventario = 2 Dim colSolicitudesInicio As Integer: colSolicitudesInicio = 4 ' Columna C Dim colResultadoInicio As Integer: colResultadoInicio = 9 ' Columna I Dim colTotalSurtido As Integer: colTotalSurtido = 12 ' Columna L Dim colFinalInventario As Integer: colFinalInventario = 13 ' Columna M Dim numClientes As Integer: numClientes = 3 Dim fila As Integer, i As Integer For fila = filaInicio To filaFin Dim inventario As Double inventario = Val(ws.Cells(fila, colInventario).Value) Dim solicitudes(1 To 3) As Double Dim surtido(1 To 3) As Variant Dim totalSurtido As Double: totalSurtido = 0 Dim totalPedido As Double: totalPedido = 0 ' Leer solicitudes For i = 1 To numClientes If IsNumeric(ws.Cells(fila, colSolicitudesInicio + i - 1).Value) Then solicitudes(i) = CDbl(ws.Cells(fila, colSolicitudesInicio + i - 1).Value) totalPedido = totalPedido + solicitudes(i) Else solicitudes(i) = 0 End If surtido(i) = 0 Next i ' Si hay suficiente inventario, surtir lo que el cliente pide If inventario >= totalPedido Then For i = 1 To numClientes If solicitudes(i) > 0 And inventario >= solicitudes(i) Then surtido(i) = solicitudes(i) inventario = inventario - solicitudes(i) totalSurtido = totalSurtido + solicitudes(i) End If Next i Else ' Reparto base igualitario Dim baseSurtido As Long baseSurtido = Int(inventario / numClientes) For i = 1 To numClientes If solicitudes(i) > 0 Then If solicitudes(i) <= baseSurtido Then surtido(i) = solicitudes(i) inventario = inventario - solicitudes(i) totalSurtido = totalSurtido + solicitudes(i) Else surtido(i) = baseSurtido inventario = inventario - baseSurtido totalSurtido = totalSurtido + baseSurtido End If End If Next i ' Repartir sobrante restante uno por uno, respetando lo pedido Do While inventario > 0 For i = 1 To numClientes If surtido(i) < solicitudes(i) Then surtido(i) = surtido(i) + 1 totalSurtido = totalSurtido + 1 inventario = inventario - 1 If inventario = 0 Then Exit For End If Next i Loop End If ' Escribir resultados en las columnas correspondientes para cada cliente For i = 1 To numClientes With ws.Cells(fila, colResultadoInicio + i - 1) If surtido(i) = 0 Then .Value = "POR FALTA STOCK" .Font.Color = vbRed Else .Value = surtido(i) .Font.Color = vbBlack End If End With Next i ' Escribir total surtido y existencia final ws.Cells(fila, colTotalSurtido).Value = totalSurtido ws.Cells(fila, colFinalInventario).Value = inventario Next fila MsgBox "Resultado surtido cargado con éxito...", vbInformation End Sub Saludos, Diego
    • Buenos dias.  Estoy trabajando en una hoja para poder llevar un control de un pequeño almacén.  Tengo un pedido con varias líneas y "lotes" y necesito sacar las ubicaciones que coincidan con la referencia y lote que pone en el pedido. El problema viene cuando tengo la misma referencia y mismo lote en ubicaciones diferentes y necesito sacar la información en columnas diferentes. No se si  me he explicado bien, pero creo que con el ejemplo adjunto se entiende mejor. Agradecería mucho si me pudieran ayudar  Libro1.xlsx
    • Exelente solución mil gracias 
  • Visualizado recientemente

    • No hay usuarios registrado para ver esta página.
×
×
  • Crear nuevo...

Información importante

Echa un vistazo a nuestra política de cookies para ayudarte a tener una mejor experiencia de navegación. Puedes ajustar aquí la configuración. Pulsa el botón Aceptar, si estás de acuerdo.