Kako otvoriti stvarno velike tekstualne i CSV datoteke

MS Excel može prikazati 1.048.576 redaka. Iako se to može činiti kao stvarno velik broj u normalnoj upotrebi, postoji mnogo scenarija u kojima to nije dovoljno.

Bilo da gledate datoteke dnevnika ili velike skupove podataka, lako je naići na CSV datoteke s milijunima redaka ili goleme tekstualne datoteke. Budući da Excel ne podržava ovako velike datoteke, kako ih točno otvoriti? Hajde da vidimo.

Zašto normalni uređivači teksta ne mogu otvoriti stvarno velike datoteke?

Računalo ima gigabajte prostora za pohranu, pa zašto uređivači teksta ne mogu otvoriti velike datoteke?

Ovdje su u igri dva faktora. Neke aplikacije imaju tvrdo kodirano ograničenje količine podataka koje mogu prikazati. Nije važno koliko memorije ima vaše računalo, jednostavno ga neće koristiti.

Drugi problem je RAM. Mnogi uređivači teksta nemaju čvrsto ograničenje broja redaka, ali ne mogu prikazati velike datoteke zbog ograničenja memorije. Oni učitavaju cijelu datoteku u RAM sustava, pa ako ta memorija nije dovoljno velika, proces ne uspijeva.

Metoda #1: Korištenje besplatnih uređivača

Najbolji način za pregled iznimno velikih tekstualnih datoteka je korištenje... uređivača teksta. Ne bilo koji uređivač teksta, već alati namijenjeni pisanju koda. Takve aplikacije obično mogu obrađivati ​​velike datoteke bez problema i besplatne su.

Large Text File Viewer vjerojatno je najjednostavnija od ovih aplikacija. Zaista je jednostavan za korištenje, radi brzo i ima vrlo malo resursa. Jedina mana? Ne može uređivati ​​datoteke. Ali ako samo želite pregledavati velike CSV datoteke, ovo je najbolji alat za taj posao.

Za uređivanje velikih tekstualnih datoteka također, trebali biste isprobati Emacs . Izvorno stvoren za Unix sustave, savršeno dobro radi i na Windowsima i može rukovati velikim datotekama. Slično tome, Neovim i Sublime Text dva su lagana IDE-a koja se mogu koristiti za otvaranje CSV tekstualnih datoteka veličine gigabajta.

Ako je sve što tražite pretraživanje podataka kroz velike datoteke dnevnika, onda je klogg pravi alat za vas. Ažuriranje vilice popularnog glogg-a , ova aplikacija vam omogućuje izvođenje složenih operacija pretraživanja kroz goleme tekstualne datoteke s lakoćom. Budući da računalno generirane datoteke dnevnika često mogu imati milijune redaka, klogg je dizajniran za rad s takvim veličinama datoteka bez problema.

Metoda #2: Podijelite na više dijelova

Cijeli problem s pokušajem otvaranja velikih CSV datoteka je taj što su prevelike. Ali što ako biste ih podijelili u više manjih datoteka?

Ovo je popularno rješenje jer općenito ne uključuje učenje sučelja novog uređivača teksta. Umjesto toga, možete upotrijebiti jedan od mnogih CSV razdjelnika dostupnih na mreži da razbijete veliku datoteku u više datoteka koje se lako otvaraju. Svakoj od ovih datoteka tada se može normalno pristupiti.

Međutim, ovo nije najbolji način da to učinite. Razdvajanje velike datoteke često može dovesti do čudnih pogrešaka pri upisu ili neispravno konfiguriranih datoteka. Štoviše, zasebno otvaranje svakog dijela sprječava vas da filtrirate sve podatke odjednom.

Metoda #3: Uvoz u bazu podataka

Tekstualne i .csv datoteke koje se protežu na više gigabajta općenito su veliki skupovi podataka. Pa zašto ih jednostavno ne uvesti u bazu podataka?

SQL je najčešći jezik za označavanje baza podataka koji se koristi ovih dana. Postoje mnoge verzije SQL- a u upotrebi, ali najlakša je vjerojatno MySQL. I kao na sreću, moguće je pretvoriti CSV datoteku u MySQL tablicu .

Ovo nipošto nije najlakši način rada s velikim CSV datotekama, stoga ga preporučujemo samo ako želite redovito raditi s velikim skupovima podataka. Ako MySQL zvuči preteško, umjesto toga uvijek možete uvesti svoje .csv datoteke u MS Access .

Metoda #4: Analizirajte s Python bibliotekama

Kada radite s .csv datotekom s milijunima redaka podataka, očito nećete moći ručno shvatiti njen smisao. Vjerojatno želite filtrirati podatke i pokrenuti određene upite da biste razumjeli trendove.

Pa zašto ne biste napisali Python kod da učinite upravo to?

Još jednom, ovo nije najjednostavnija metoda. Iako Python nije najteži programski jezik za naučiti , on je kodiranje, pa možda nije najbolji pristup za vas. Ipak, ako se nađete u situaciji da morate analizirati stvarno velike CSV datoteke na dnevnoj bazi, možda biste trebali automatizirati zadatak s nekim Python kodom .

Metoda #5: s vrhunskim alatima

Uređivači teksta koje smo vidjeli u prvoj metodi nisu bili namjenski alati namijenjeni CSV obradi. Bili su to alati opće namjene koji su se mogli koristiti i za rad s velikim .csv datotekama.

Ali što je sa specijaliziranim aplikacijama? Ne postoje li aplikacije stvorene za rješavanje ovog problema?

Postoje, zapravo. CSV Explorer , na primjer, nadograđuje se na isti proces koji smo opisali u posljednje dvije metode (SQL baza podataka i Python kod) za stvaranje aplikacije koja može pregledavati i uređivati ​​CSV datoteke bilo koje veličine. Možete učiniti sve što očekujete od alata za proračunske tablice, poput izrade grafikona ili filtriranja podataka u CSV Exploreru.

Druga opcija je UltraEdit . Za razliku od prethodnog alata, ovaj alat nije namijenjen samo za .csv datoteke, već za sve vrste tekstualnih datoteka. Može lako rukovati tekstualnim i CSV datotekama veličine do nekoliko gigabajta, sa sučeljem sličnim mnogim besplatnim uređivačima o kojima smo ranije govorili. 

Jedina mana ovih alata je to što su vrhunske aplikacije koje zahtijevaju da dobijete plaćenu licencu da biste ih mogli koristiti. Uvijek možete isprobati njihove besplatne probne verzije kako biste provjerili njihove značajke ili ako imate samo jednokratnu upotrebu.

Koji je najbolji način za otvaranje velikih tekstualnih i CSV datoteka?

U ovom dobu velikih podataka, nije neuobičajeno naići na tekstualne datoteke veličine gigabajta, koje može biti teško čak i pregledati s ugrađenim alatima kao što su Notepad ili MS Excel. Da biste mogli otvoriti tako velike CSV datoteke, morate preuzeti i koristiti aplikaciju treće strane.

Ako sve što želite je pregledavati takve datoteke, onda je Large Text File Viewer najbolji izbor za vas. Za njihovo stvarno uređivanje možete isprobati uređivač teksta bogat značajkama poput Emacsa ili se odlučiti za vrhunski alat poput CSV Explorera.

Tehnike poput razdvajanja CSV datoteke ili njezinog uvoza u bazu podataka uključuju previše koraka. Bolje vam je da dobijete plaćenu licencu za namjenski premium alat ako često radite s ogromnim tekstualnim datotekama.