Kako odpreti res velike besedilne in CSV datoteke

MS Excel lahko prikaže 1.048.576 vrstic. Čeprav se to morda zdi res veliko pri običajni uporabi, obstaja veliko scenarijev, kjer to ni dovolj.

Ne glede na to, ali gledate dnevniške datoteke ali velike nabore podatkov, zlahka naletite na datoteke CSV z milijoni vrstic ali ogromne besedilne datoteke. Ker Excel ne podpira tako velikih datotek, kako natančno jih odprete? Pa ugotovimo.

Zakaj običajni urejevalniki besedil ne morejo odpreti res velikih datotek?

Računalnik ima gigabajte prostora za shranjevanje, zakaj torej urejevalniki besedil ne morejo odpreti velikih datotek?

Tu igrata dva dejavnika. Nekatere aplikacije imajo kodirano omejitev količine podatkov, ki jih lahko prikažejo. Ni pomembno, koliko pomnilnika ima vaš računalnik, preprosto ga ne bodo uporabljali.

Druga težava je RAM. Mnogi urejevalniki besedil nimajo stroge omejitve števila vrstic, vendar zaradi omejitev pomnilnika ne morejo prikazati velikih datotek. Celotno datoteko naložijo v sistemski RAM, tako da, če ta pomnilnik ni dovolj velik, postopek ne uspe.

1. način: Uporaba brezplačnih urejevalnikov

Najboljši način za ogled izjemno velikih besedilnih datotek je uporaba ... urejevalnika besedil. Ne kateri koli urejevalnik besedil, ampak orodja, namenjena pisanju kode. Takšne aplikacije lahko običajno brez težav obravnavajo velike datoteke in so brezplačne.

Large Text File Viewer je verjetno najpreprostejša od teh aplikacij. Je zelo enostaven za uporabo, deluje hitro in ima zelo malo porabe virov. Edina slabost? Ne more urejati datotek. Če pa si želite ogledati samo velike datoteke CSV, je to praktično najboljše orodje za to delo.

Tudi za urejanje velikih besedilnih datotek poskusite Emacs . Prvotno ustvarjen za sisteme Unix, popolnoma dobro deluje tudi v sistemu Windows in lahko obravnava velike datoteke. Podobno sta Neovim in Sublime Text dva lahka IDE-ja, ki ju je mogoče uporabiti za odpiranje besedilnih datotek CSV velikosti gigabajtov.

Če vse, kar iščete, je iskanje podatkov prek velikih dnevniških datotek, potem je klogg pravo orodje za vas. Posodabljanje razcepa priljubljenega glogg vam omogoča enostavno izvajanje zapletenih operacij iskanja v ogromnih besedilnih datotekah. Ker imajo lahko računalniško ustvarjene dnevniške datoteke pogosto na milijone vrstic, je klogg zasnovan za delo s takšnimi velikostmi datotek brez težav.

2. način: Razdelite na več delov

Celotna težava pri poskusu odpiranja velikih datotek CSV je, da so prevelike. Kaj pa, če bi jih razdelili na več manjših datotek?

To je priljubljena rešitev, saj na splošno ne vključuje učenja vmesnika novega urejevalnika besedil. Namesto tega lahko uporabite enega od številnih razdelilnikov CSV, ki so na voljo na spletu , da razdelite veliko datoteko na več datotek, ki jih je enostavno odpreti. Do vsake od teh datotek je nato mogoče normalno dostopati.

Vendar to ni najboljši način za to. Razdelitev velike datoteke lahko pogosto povzroči nenavadne tipkarske napake ali nepravilno konfigurirane datoteke. Poleg tega odpiranje vsakega kosa posebej preprečuje, da bi filtrirali celotne podatke hkrati.

Metoda št. 3: Uvoz v zbirko podatkov

Besedilne datoteke in datoteke .csv, ki obsegajo več gigabajtov, so običajno veliki nabori podatkov. Zakaj jih torej ne bi preprosto uvozili v bazo podatkov?

SQL je danes najpogostejši označevalni jezik baze podatkov. V uporabi je veliko različic SQL , vendar je verjetno najlažja MySQL. In po sreči je mogoče datoteko CSV pretvoriti v tabelo MySQL .

To nikakor ni najlažji način za obravnavo velikih datotek CSV, zato ga priporočamo le, če želite redno obravnavati velike nabore podatkov. Če se vam MySQL zdi pretežak, lahko svoje datoteke .csv vedno uvozite v MS Access .

Metoda št. 4: analizirajte s knjižnicami Python

Ko delate z datoteko .csv z milijoni vrstic podatkov, je očitno ne boste mogli ročno razumeti. Verjetno želite filtrirati podatke in izvesti posebne poizvedbe, da boste razumeli trende.

Zakaj torej ne bi napisali kode Python, ki bi naredila prav to?

Še enkrat, to ni uporabniku najbolj prijazna metoda. Čeprav Python ni najtežji programski jezik za učenje , je kodiranje, zato morda ni najboljši pristop za vas. Kljub temu, če ugotovite, da morate vsak dan razčlenjevati zelo velike datoteke CSV, boste morda želeli avtomatizirati nalogo z nekaj kode Python .

Metoda št. 5: Z vrhunskimi orodji

Urejevalniki besedil, ki smo jih videli pri prvi metodi, niso bili namenska orodja za obdelavo CSV. Bila so orodja za splošen namen, ki jih je bilo mogoče uporabiti tudi za delo z velikimi datotekami .csv.

Kaj pa specializirane aplikacije? Ali ni nobene aplikacije, ustvarjene za rešitev te težave?

Pravzaprav obstajajo. Raziskovalec CSV , na primer, gradi na samem procesu, ki smo ga opisali v zadnjih dveh metodah (podatkovna baza SQL in koda Python), da ustvari aplikacijo, ki je zmožna pregledovati in urejati datoteke CSV katere koli velikosti. Naredite lahko vse, kar pričakujete od orodja za preglednice, kot je ustvarjanje grafov ali filtriranje podatkov v Raziskovalcu CSV.

Druga možnost je UltraEdit . V nasprotju s prejšnjim orodjem to ni namenjeno samo datotekam .csv, temveč vsem vrstam besedilnih datotek. Z lahkoto upravlja z besedilnimi in CSV datotekami, velikimi do nekaj gigabajtov, z vmesnikom, podobnim številnim brezplačnim urejevalnikom, o katerih smo govorili prej. 

Edina pomanjkljivost teh orodij je, da gre za premium aplikacije, ki zahtevajo, da dobite plačano licenco, da jih lahko uporabljate. Vedno lahko preizkusite njihove brezplačne preskusne različice, da preverite njihove funkcije, ali če imate samo enkratno uporabo.

Kateri je najboljši način za odpiranje velikih besedilnih in CSV datotek?

V tej dobi velikih podatkov ni neobičajno, da naletimo na besedilne datoteke, velike v gigabajtih, ki si jih je težko ogledati z vgrajenimi orodji, kot sta Beležnica ali MS Excel. Če želite odpreti tako velike datoteke CSV, morate prenesti in uporabiti aplikacijo tretje osebe.

Če si želite samo ogledati takšne datoteke, potem je Large Text File Viewer najboljša izbira za vas. Če jih želite dejansko urejati, lahko preizkusite urejevalnik besedil, bogat s funkcijami, kot je Emacs, ali pa uporabite vrhunsko orodje, kot je CSV Explorer.

Tehnike, kot je razdelitev datoteke CSV ali uvoz v bazo podatkov, vključujejo preveč korakov. Bolje je, da dobite plačano licenco za namensko vrhunsko orodje, če pogosto delate z ogromnimi besedilnimi datotekami.