Trabajar con un gran número de registros

[Folleloide]

Hola

Estoy trabajando con un número de registros muy superior a lo que normalmente utilizo en otros proyectos. En este caso estoy trabajando con un archivo que cuenta con 500.000 registros que ocupan 2 columnas. (En relación a antiguas preguntas)

El caso es que a estos registros que se actualizan manualmente, se le aplican unas macros para segmentarlos y más tarde analizarlos.

El problema surge cuando importo esos datos a excel o cuando quiero correr las macros. Excel deja de funcionar, supongo que por el proceso que le estoy pidiendo. He estado buscando por la red si hay alguna posibilidad de hacer esto a través de otra plataforma que integre excel, pero no encuentro nada en concreto.

He visto la posibilidad de utilizar Power pivot para cargar esos datos, pero si no me equivoco, después de cargar los datos no puedo utilizar las macros que necesito para la segmentación de los datos introducidos. 

Sabéis alguna forma de cargar y trabajar con este número de datos sin provocar problemas en excel?

Saludos y gracias!

[Gerson Pineda]

Hola

Son bastante los registros, y quieras o no, va tener su espera de proceso

El asunto a tratar es como los trabajas desde Vba, pero me llama la atención que dices que los "importas" a Excel, ¿entonces en que los trabajan manualmente?

 

Saludos

[Folleloide]

Hace 1 hora, Gerson Pineda dijo:

Hola

Son bastante los registros, y quieras o no, va tener su espera de proceso

El asunto a tratar es como los trabajas desde Vba, pero me llama la atención que dices que los "importas" a Excel, ¿entonces en que los trabajan manualmente?

 

Saludos

Hola Gerson,

La espera en el proceso entiendo que sea bastante ya que carga ese numero de registros. El problema es cuando aplico la macro, que el excel deja de funcionar. Supongo que será por el tamaño de los datos.

El Vba que utilizo es principalmente para la segmentación de estos registros, como he comentado en otros temas en el foro.

El problema se produce cuando cargo ese número de registros. En este caso me ha pasado con 470.000.

Cuando hablo de importar, me refiero a que necesito importar los datos de origen para que excel me segmente bien, ya que los datos en su origen estan en otro formato que si los copio directamente necesitaría otro proceso vba. Espero haberme explicado bien.

Si es necesario pongo las macros que estoy utilizando para que veas a que me refiero.

Cuando le doy a procesar la macro el excel deja de funcionar, por eso preguntaba si era posible hacerlo de otra forma que me permita cargar tantos registros. ¿Tu que opinas?

Espero que me haya explicado bien. Muchas gracias por la ayuda Gerson.

Saludos

[Gerson Pineda]

Hola

Hace 30 minutos , Folleloide dijo:

Si es necesario pongo las macros que estoy utilizando para que veas a que me refiero.

Cuando le doy a procesar la macro el excel deja de funcionar, por eso preguntaba si era posible hacerlo de otra forma que me permita cargar tantos registros. ¿Tu que opinas?

Espero que me haya explicado bien. Muchas gracias por la ayuda Gerson.

Saludos

Bueno hay formas de eficientar en Excel, ahora con Power Query [y Power Pivot], puedes hacer muchas cosas

Pero porque no subes una muestra de tu libro con pocos datos, poro con estructura real, como ademas explica claramente, que resultados esperas del proceso una vez finalizado

 

Saludos

[Folleloide]

Hace 3 horas, Gerson Pineda dijo:

Hola

Bueno hay formas de eficientar en Excel, ahora con Power Query [y Power Pivot], puedes hacer muchas cosas

Pero porque no subes una muestra de tu libro con pocos datos, poro con estructura real, como ademas explica claramente, que resultados esperas del proceso una vez finalizado

 

Saludos

Hola de nuevo Gerson.

En cuanto pueda subo los archivos y explico bien los objetivos. Ahora mismo estoy con el movil y no tengo aquí los archivos.

Muchas gracias por la ayuda

Saludos

[Folleloide]

Hace 18 horas, Gerson Pineda dijo:

Hola

Bueno hay formas de eficientar en Excel, ahora con Power Query [y Power Pivot], puedes hacer muchas cosas

Pero porque no subes una muestra de tu libro con pocos datos, poro con estructura real, como ademas explica claramente, que resultados esperas del proceso una vez finalizado

 

Saludos

Hola de nuevo Gerson,

Como te dije, dejo por aquí lo que estoy utilizando en Vba en el propio archivo.

Haciendo pruebas he visto que la macro funciona perfectamente. He probado con rango de 10.000 registros y funciona, pero con más de 100.000 el excel deja de funcionar.  Tengo dudas si es un problema de la macro o es que excel no permite analizar ese nivel de registros.

Como te decía, necesito segmentar unos 500.000 registros y no llego a conseguir que excel lo haga correctamente.

El archivo que utilizo es el que habíamos tratado en este tema y con el que tu mismo me ayudaste. En cambio, he añadido varias macros para realizar todo el proceso de forma automática, lo dejo por aquí para que puedas verlo y puedas decirme si está correcto. (Puede que este sea el fallo y no lo este ejecutando correctamente. Aunque si funciona con menos registros, no tiene mucho sentido y se supone que la macro está bien)

Como te digo, el archivo es el mismo, solamente que en vez de trabajar con 2 registros, trabajo con 500.000. 

Estoy utilizando el primer método de tu aporte. Aquí dejo la estructura que estoy utilizando:

Sub Separartexto()

Application.ScreenUpdating = False
On Error Resume Next

For Each x In Hoja1.Range("B2", Hoja1.Range("B1").End(xlDown))
    vca = VBA.Replace(VBA.Replace(VBA.Replace(x, "- - ", ""), "[", ""), """", "")
    vsc = VBA.Split(vca, " "): f = x.Row
    With Hoja2
        .Cells(f, "A") = vsc(0)
        .Cells(f, "B") = VBA.Left(vsc(1), 11)
        .Cells(f, "C") = VBA.Right(vsc(1), 8)
        .Cells(f, "D") = vsc(2)
        .Cells(f, "E") = vsc(3)
        .Cells(f, "F") = vsc(4)
        .Cells(f, "G") = vsc(5)
        .Cells(f, "H") = vsc(6)
        .Cells(f, "I") = vsc(7)
        .Cells(f, "J") = vsc(8)
        .Cells(f, "K") = vsc(9) & vsc(10) & vsc(11) & vsc(12)
    End With
Next
On Error GoTo 0

Hoja2.Select
Application.ScreenUpdating = True

End Sub

Sub Extraerbt()

Dim uf, encontrado As Long
Dim palabras, Item As Variant

uf = Range("B" & Rows.Count).End(xlUp).Row
palabras = Array("X", "X", "X", "X", "X", "X", "X")

For Each Celda In Range("K2:K" & uf)
    For Each Item In palabras
    encontrado = InStr(Celda, Item)
        If encontrado > 0 Then
            Celda.Offset(, 1) = Item
        End If
    Next Item
Next Celda

End Sub
Sub Extraeraizurl()

  Dim a, car, r, aux, t!, i&, j&, uf&
  
  t = Timer
  uf = Range("F" & Rows.Count).End(xlUp).Row
  a = Range("F2:F" & uf)
  car = Array("/", ".", " ")
  
  ReDim r(1 To UBound(a))
  For i = 1 To UBound(r)
    For j = 0 To UBound(car)
      aux = Split(Mid(a(i, 1), 2) & " ", car(j))
      If UBound(aux) > 0 Then: r(i) = aux(0): Exit For
    Next j
    If r(i) = Empty Then r(i) = "/"
  Next i
  Range("M2:M" & uf) = Application.Transpose(r)
  
  Erase a, car, aux, r
  MsgBox "Proceso terminado en: " & Format(Timer - t, "0.000 seg")
End Sub
Sub Botondellamada()

Call Separartexto
Call Extraerbt
Call Extraeraizurl

End Sub

Sub Creartabla()
ActiveSheet.ListObjects.Add(xlSrcRange, Range("A1").CurrentRegion, , xlYes).Name = "Tabladedatos"
End Sub

La parte que pone "X" son datos que necesito extraer de una de las columnas(Pero son datos de carácter confidencial que no puedo añadir aquí). Al final, como ves utilizo "Botondellamada" para llamar a todas, no se si esto puede provocar el problema.

Espero haberme explicado con claridad y que los datos que incluyo sirvan para darte los suficientes ejemplos. Como te digo, utilizo el mismo archivo, pero con este Vba y con 500.000 registros, en vez de 2, que era lo que había en el archivo del tema que enlazo. En los otros registros no hay variaciones, simplemente cambian los datos.

Si tienes alguna duda o necesitas cualquier otro dato para saber que está pasando, dímelo para añadirlo.

Muchas gracias por los aportes y la ayuda Gerson. 

Saludos

[Gerson Pineda]

Hola

Te lo reitero sube un archivo, con pocos datos, estructura real y ademas con algunos casos donde tengas que realizar o ejecutar si o si, todas las macros, porque veo una [Extraerbt] que es redundante [buscar dentro de un array repetidas "X"], y esta [Extraeraizurl] que puedo entender, necesitas extraer la url sin las diagonales

PD: con esas 2 macros, ya ralentizas mucho el proceso

 

Saludos

[Folleloide]

Hace 22 horas, Gerson Pineda dijo:

Hola

Te lo reitero sube un archivo, con pocos datos, estructura real y ademas con algunos casos donde tengas que realizar o ejecutar si o si, todas las macros, porque veo una [Extraerbt] que es redundante [buscar dentro de un array repetidas "X"], y esta [Extraeraizurl], que puedo entender, necesitas extraer la url sin las diagonales

PD: con esas 2 macros, ya ralentizas mucho el proceso

 

Saludos

Hola Gerson.

Como me indicas, subo un archivo con pocos datos y todas las variaciones posibles que me puedo encontrar en ellos. En el propio archivo verás exactamente lo que estoy buscando. No se si esto es posible concentrarlo todo en una macro que agilice el proceso y me permita trabajar con la cantidad de registros que habíamos comentado.

La parte que necesito segmentar es la segunda columna que incluye ya todos los datos que necesito. La columna de la izquierda es irrelevante.

Espero que sirva. Muchas gracias de nuevo por tu ayuda. 

Saludos

ejemplo de registros.xlsx

[Gerson Pineda]

Hola

Revisa el adjunto, en realidad no se necesita mas macros o procedimientos, agregué un par de lineas mas y listo

 

Saludos 

Separar datos en columnas Vba_GP.zip

[Folleloide]

En 24/7/2019 at 23:37 , Gerson Pineda dijo:

Hola

Revisa el adjunto, en realidad no se necesita mas macros o procedimientos, agregué un par de lineas mas y listo

 

Saludos 

Separar datos en columnas Vba_GP.zip 19 kB · 5 downloads

Hola de nuevo Gerson.

Gracias por la ayuda. Justo lo que necesitaba, se nota la limpieza a la hora de procesar los datos. Tarda un poco, pero con este nivel de registros...

Gracias de nuevo.

Saludos

[Gerson Pineda]

Hace 1 hora, Folleloide dijo:

Hola de nuevo Gerson.

Gracias por la ayuda. Justo lo que necesitaba, se nota la limpieza a la hora de procesar los datos. Tarda un poco, pero con este nivel de registros...

Gracias de nuevo.

Saludos

¿Cuanto tarda?

Con la otra macro [TextoColumnas_GP], debe tardar menos, pero desde luego que debes hacerle arreglos, para mostrar los datos como la primera

 

Saludos