MS Excel pode mostrar 1.048.576 filas. Aínda que poida parecer un número moi grande no uso normal, hai moitos escenarios nos que iso non é suficiente.
Se estás mirando ficheiros de rexistro ou conxuntos de datos grandes, é fácil atopar ficheiros CSV con millóns de filas ou ficheiros de texto enormes. Dado que Excel non pode admitir ficheiros tan grandes, como os abres exactamente? Imos averiguar.
Por que os editores de texto normais non poden abrir ficheiros moi grandes?
Un ordenador ten gigabytes de almacenamento, entón por que os editores de texto non poden abrir ficheiros grandes?
Aquí están en xogo dous factores. Algunhas aplicacións teñen un límite fixado na cantidade de datos que poden mostrar. Non importa a cantidade de memoria que teña o teu PC, simplemente non a usarán.
O segundo problema é a memoria RAM. Moitos editores de texto non teñen un límite estricto no número de filas, pero non poden mostrar ficheiros grandes debido ás limitacións de memoria. Cargan todo o ficheiro na memoria RAM do sistema, polo que se esta memoria non é o suficientemente grande, o proceso falla.
Método #1: Usando editores gratuítos
A mellor forma de ver ficheiros de texto moi grandes é usar... un editor de texto. Non un editor de texto calquera, senón as ferramentas destinadas a escribir código. Estas aplicacións normalmente poden xestionar ficheiros grandes sen problemas e son gratuítas.
Large Text File Viewer é probablemente a máis sinxela destas aplicacións. É moi doado de usar, funciona rápido e ten unha pegada de recursos moi baixa. O único inconveniente? Non pode editar os ficheiros. Pero se só queres ver ficheiros CSV grandes, esta é sen dúbida a mellor ferramenta para o traballo.
Para editar ficheiros de texto grandes tamén, deberías probar Emacs . Creado orixinalmente para sistemas Unix, tamén funciona perfectamente en Windows e pode xestionar ficheiros grandes. Do mesmo xeito, Neovim e Sublime Text son dous IDE lixeiros que se poden usar para abrir ficheiros de texto CSV de tamaño gigabyte.
Se o único que buscas é buscar datos a través de ficheiros de rexistro grandes, entón klogg é só a ferramenta para ti. Esta aplicación, un fork de actualización do popular glogg , permítelle realizar operacións de busca complexas a través de enormes ficheiros de texto con facilidade. Dado que os ficheiros de rexistro xerados por ordenador a miúdo poden ter millóns de filas, klogg está deseñado para funcionar con tales tamaños de ficheiros sen problemas.
Método #2: Dividir en varias partes
Todo o problema ao tentar abrir ficheiros CSV grandes é que son demasiado grandes. Pero e se dividises estes en varios ficheiros máis pequenos?
Esta é unha solución popular, xa que xeralmente non implica ter que aprender a interface dun novo editor de texto. Pola contra, pode usar un dos moitos divisores CSV dispoñibles en liña para dividir o ficheiro grande nunha serie de ficheiros fáciles de abrir. Cada un destes ficheiros pódese acceder normalmente.
Non obstante, esta non é a mellor forma de facer isto. Dividir un ficheiro grande moitas veces pode provocar erros tipográficos estraños ou ficheiros configurados incorrectamente. Ademais, abrir cada anaco por separado impide que filtre todos os datos á vez.
Método 3: importar a unha base de datos
Os ficheiros de texto e .csv que se estenden a varios gigabytes son xeralmente grandes conxuntos de datos. Entón, por que non importalos a unha base de datos?
SQL é a linguaxe de marcado de bases de datos máis común que se usa nestes días. Hai moitas versións de SQL en uso, pero a máis sinxela é probablemente MySQL. E por sorte, é posible converter un ficheiro CSV nunha táboa MySQL .
Este non é de ningún xeito o método máis sinxelo para xestionar ficheiros CSV grandes, polo que só recomendamos isto se queres tratar con conxuntos de datos grandes de forma regular. Se MySQL soa demasiado difícil, sempre podes importar os teus ficheiros .csv a MS Access .
Método #4: Analiza con bibliotecas de Python
Cando estás a traballar cun ficheiro .csv con millóns de filas de datos, obviamente non poderás darlle moito sentido manualmente. Probablemente queira filtrar os datos e realizar consultas específicas para comprender as tendencias.
Entón, por que non escribir código Python para facelo?
Unha vez máis, este non é o método máis fácil de usar. Aínda que Python non é a linguaxe de programación máis difícil de aprender , é codificación, polo que quizais non sexa o mellor enfoque para ti. Aínda así, se tes que analizar ficheiros CSV moi grandes a diario, quizais queiras automatizar a tarefa con algún código Python .
Método #5: con ferramentas premium
Os editores de texto que vimos no primeiro método non eran ferramentas dedicadas ao procesamento CSV. Eran ferramentas de propósito xeral que tamén se podían empregar para traballar con ficheiros .csv grandes.
Pero que pasa coas aplicacións especializadas? Non hai aplicacións creadas para resolver este problema?
Hainos, en realidade. CSV Explorer , por exemplo, baséase no propio proceso que describimos nos dous últimos métodos (base de datos SQL e código Python) para crear unha aplicación capaz de ver e editar ficheiros CSV de calquera tamaño. Podes facer todo o que esperas dunha ferramenta de folla de cálculo, como crear gráficos ou filtrar os datos no Explorador CSV.
Outra opción é UltraEdit . A diferenza da ferramenta anterior, isto non só está pensado para ficheiros .csv senón para calquera tipo de ficheiro de texto. Pode xestionar facilmente ficheiros de texto e CSV que van ata algúns gigabytes, cunha interface similar a moitos dos editores gratuítos que comentamos anteriormente.
O único inconveniente destas ferramentas é que son aplicacións premium, que requiren unha licenza de pago para poder utilizalas. Sempre podes probar as súas versións de proba gratuítas para comprobar as súas funcións, ou se só usas unha soa vez.
Cal é a mellor forma de abrir ficheiros de texto e CSV grandes?
Nesta era do Big Data, non é raro atopar ficheiros de texto que se executan en gigabytes, o que pode ser difícil incluso de ver con ferramentas integradas como o Bloc de notas ou MS Excel. Para poder abrir ficheiros CSV tan grandes, cómpre descargar e utilizar unha aplicación de terceiros.
Se o único que queres é ver estes ficheiros, o visor de ficheiros de texto grande é a mellor opción para ti. Para editalos realmente, podes probar un editor de texto rico en funcións como Emacs, ou optar por unha ferramenta premium como CSV Explorer.
Técnicas como dividir o ficheiro CSV ou importalo a unha base de datos implican demasiados pasos. É mellor que obteñas unha licenza de pago dunha ferramenta premium dedicada se te atopas traballando moito con ficheiros de texto enormes.