MS Excel pot mostrar 1.048.576 files. Tot i que pot semblar un nombre molt gran en un ús normal, hi ha molts escenaris en què això no és suficient.
Tant si esteu mirant fitxers de registre o grans conjunts de dades, és fàcil trobar fitxers CSV amb milions de files o fitxers de text enormes. Com que Excel no admet fitxers tan grans, com els obre exactament? Anem a esbrinar.

Per què els editors de text normals no poden obrir fitxers realment grans?
Un ordinador té gigabytes d'emmagatzematge, així que per què els editors de text no poden obrir fitxers grans?
Aquí hi ha dos factors en joc. Algunes aplicacions tenen un límit codificat en la quantitat de dades que poden mostrar. No importa la quantitat de memòria que tingui el vostre PC, simplement no l'utilitzaran.
El segon problema és la memòria RAM. Molts editors de text no tenen un límit estricte en el nombre de files, però no poden mostrar fitxers grans a causa de les limitacions de memòria. Carreguen tot el fitxer a la memòria RAM del sistema, de manera que si aquesta memòria no és prou gran, el procés falla.
Mètode 1: Ús d'editors gratuïts
La millor manera de veure fitxers de text extremadament grans és utilitzar... un editor de text. No qualsevol editor de text, sinó les eines destinades a escriure codi. Aquestes aplicacions solen gestionar fitxers grans sense cap problema i són gratuïtes.
El visualitzador de fitxers de text gran és probablement la més senzilla d'aquestes aplicacions. És molt fàcil d'utilitzar, funciona ràpidament i té una empremta de recursos molt baixa. L'únic inconvenient? No pot editar els fitxers. Però si només voleu veure fitxers CSV grans, aquesta és sens dubte la millor eina per a la feina.

Per editar fitxers de text grans també, hauríeu de provar Emacs . Creat originalment per a sistemes Unix, també funciona perfectament a Windows i pot gestionar fitxers grans. De la mateixa manera, Neovim i Sublime Text són dos IDE lleugers que es poden utilitzar per obrir fitxers de text CSV de mida gigabyte.

Si tot el que busqueu és cercar dades a través de fitxers de registre grans, aleshores klogg és només l'eina per a vosaltres. Una bifurcació d'actualització del popular glogg , aquesta aplicació us permet realitzar operacions de cerca complexes a través d'enormes fitxers de text amb facilitat. Com que els fitxers de registre generats per ordinador sovint poden tenir milions de files, klogg està dissenyat per funcionar amb aquestes mides de fitxer sense cap problema.

Mètode núm. 2: Dividiu-vos en diverses parts
Tot el problema d'intentar obrir fitxers CSV grans és que són massa grans. Però, què passaria si els dividiu en diversos fitxers més petits?
Aquesta és una solució popular, ja que generalment no implica haver d'aprendre la interfície d'un nou editor de text. En lloc d'això, podeu utilitzar un dels molts divisors CSV disponibles en línia per dividir el fitxer gran en diversos fitxers fàcils d'obrir. A continuació, es pot accedir a cadascun d'aquests fitxers amb normalitat.

Tanmateix, aquesta no és la millor manera de fer-ho. Dividir un fitxer gran sovint pot provocar errors ortogràfics estranys o fitxers configurats incorrectament. A més, obrir cada tros per separat evita que filtreu totes les dades alhora.
Mètode 3: importar a una base de dades
Els fitxers de text i .csv que s'estenen a diversos gigabytes són generalment grans conjunts de dades. Llavors, per què no simplement importar-los a una base de dades?
SQL és el llenguatge de marques de base de dades més comú que s'utilitza actualment. Hi ha moltes versions d'SQL en ús, però la més fàcil és probablement MySQL. I per sort, és possible convertir un fitxer CSV en una taula MySQL .

Aquest no és de cap manera el mètode més fàcil per tractar fitxers CSV grans, per la qual cosa només us recomanem si voleu tractar conjunts de dades grans de manera regular. Si MySQL sembla massa dur, sempre podeu importar els vostres fitxers .csv a MS Access .
Mètode 4: analitzar amb biblioteques de Python
Quan treballeu amb un fitxer .csv amb milions de files de dades, òbviament, no podreu donar-li gaire sentit manualment. És probable que vulgueu filtrar les dades i executar consultes específiques per entendre les tendències.

Aleshores, per què no escriure codi Python per fer-ho?
Una vegada més, aquest no és el mètode més fàcil d'utilitzar. Tot i que Python no és el llenguatge de programació més difícil d'aprendre , és la codificació, de manera que potser no és el millor enfocament per a vostè. Tot i així, si us trobeu havent d'analitzar fitxers CSV molt grans diàriament, potser voldreu automatitzar la tasca amb algun codi Python .
Mètode 5: amb eines premium
Els editors de text que vam veure al primer mètode no eren eines dedicades destinades al processament CSV. Eren eines de propòsit general que també es podien utilitzar per treballar amb fitxers .csv grans.
Però, què passa amb les aplicacions especialitzades? No hi ha aplicacions creades per resoldre aquest problema?
N'hi ha, de fet. CSV Explorer , per exemple, es basa en el mateix procés que hem descrit en els dos últims mètodes (base de dades SQL i codi Python) per crear una aplicació capaç de veure i editar fitxers CSV de qualsevol mida. Podeu fer tot el que espereu d'una eina de full de càlcul, com ara crear gràfics o filtrar les dades a l'Explorador CSV.

Una altra opció és UltraEdit . A diferència de l'eina anterior, això no només està pensat per a fitxers .csv, sinó per a qualsevol tipus de fitxer de text. Pot gestionar fàcilment fitxers de text i CSV d'uns quants gigabytes, amb una interfície similar a molts dels editors gratuïts que hem comentat anteriorment.

L'únic inconvenient d'aquestes eines és que són aplicacions premium, que requereixen una llicència de pagament per poder-les utilitzar. Sempre podeu provar les seves versions de prova gratuïtes per comprovar les seves funcions, o si només en feu un ús.
Quina és la millor manera d'obrir fitxers de text i CSV grans?
En aquesta era de Big Data, no és estrany trobar fitxers de text que s'executen en gigabytes, cosa que pot ser difícil de veure fins i tot amb eines integrades com el Bloc de notes o MS Excel. Per poder obrir fitxers CSV tan grans, heu de descarregar i utilitzar una aplicació de tercers.
Si tot el que voleu és veure aquests fitxers, llavors el visualitzador de fitxers de text gran és la millor opció per a vosaltres. Per editar-los realment, podeu provar un editor de text ric en funcions com Emacs, o optar per una eina premium com CSV Explorer.
Tècniques com dividir el fitxer CSV o importar-lo a una base de dades impliquen massa passos. És millor que obtingueu una llicència de pagament d'una eina premium dedicada si us trobeu treballant molt amb fitxers de text enormes.