Hvordan åpne virkelig store tekst- og CSV-filer

MS Excel kan vise 1 048 576 rader. Selv om det kan virke som et veldig stort antall ved normal bruk, er det mange scenarier der det ikke er nok.

Enten du ser på loggfiler eller store datasett, er det lett å komme over CSV-filer med millioner av rader eller enorme tekstfiler. Siden Excel ikke kan støtte så store filer, hvordan åpner du dem? La oss finne det ut.

Hvorfor kan ikke vanlige tekstredigerere åpne virkelig store filer?

En datamaskin har gigabyte med lagringsplass, så hvorfor kan ikke tekstredigerere åpne store filer?

Det er to faktorer som spiller inn her. Noen applikasjoner har en hardkodet grense for hvor mye data de kan vise. Det spiller ingen rolle hvor mye minne PC-en din har, de vil bare ikke bruke den.

Det andre problemet er RAM. Mange tekstredigerere har ikke en hard grense for antall rader, men kan ikke vise store filer på grunn av minnebegrensninger. De laster hele filen inn i system-RAM, så hvis dette minnet ikke er stort nok, mislykkes prosessen.

Metode #1: Bruk av gratis redaktører

Den beste måten å vise ekstremt store tekstfiler på er å bruke ... et tekstredigeringsprogram. Ikke et hvilket som helst tekstredigeringsprogram, men verktøyene som er ment for å skrive kode. Slike apper kan vanligvis håndtere store filer uten problemer og er gratis.

Large Text File Viewer er sannsynligvis den enkleste av disse programmene. Det er veldig enkelt å bruke, fungerer raskt og har et svært lite ressursavtrykk. Den eneste ulempen? Den kan ikke redigere filene. Men hvis du bare vil se store CSV-filer, er dette uten tvil det beste verktøyet for jobben.

For å redigere store tekstfiler også, bør du prøve Emacs . Opprinnelig laget for Unix-systemer, fungerer det utmerket på Windows også, og kan håndtere store filer. På samme måte er Neovim og Sublime Text to lette IDE-er som kan brukes til å åpne CSV-tekstfiler i gigabyte.

Hvis alt du leter etter er å søke etter data gjennom store loggfiler, så er klogg akkurat verktøyet for deg. Denne applikasjonen er en oppdateringsgaffel til den populære glogg , og lar deg enkelt utføre komplekse søkeoperasjoner gjennom enorme tekstfiler. Siden datamaskingenererte loggfiler ofte kan ha millioner av rader, er klogg designet for å fungere med slike filstørrelser uten problemer.

Metode #2: Del opp i flere deler

Hele problemet med å prøve å åpne store CSV-filer er at de er for store. Men hva om du skulle dele disse opp i flere mindre filer?

Dette er en populær løsning, siden det vanligvis ikke innebærer å lære grensesnittet til et nytt tekstredigeringsprogram. I stedet kan du bruke en av de mange CSV-splitterne som er tilgjengelige på nettet for å dele opp den store filen i en rekke filer som er enkle å åpne. Hver av disse filene kan da nås på vanlig måte.

Dette er imidlertid ikke den beste måten å gjøre dette på. Å dele opp en stor fil kan ofte føre til rare skrivefeil eller feilkonfigurerte filer. Å åpne hver del separat forhindrer deg dessuten i å filtrere gjennom hele dataen samtidig.

Metode #3: Importer til en database

Tekst- og .csv-filer som strekker seg til flere gigabyte er vanligvis store datasett. Så hvorfor ikke bare importere dem til en database?

SQL er det vanligste databasemarkeringsspråket som brukes i disse dager. Det er mange versjoner av SQL i bruk, men den enkleste er nok MySQL. Og heldigvis er det mulig å konvertere en CSV-fil til en MySQL-tabell .

Dette er på ingen måte den enkleste metoden for å håndtere store CSV-filer, så vi anbefaler dette kun hvis du ønsker å håndtere store datasett med jevne mellomrom. Hvis MySQL høres for tøft ut, kan du alltid importere .csv-filene dine til MS Access i stedet.

Metode #4: Analyser med Python-biblioteker

Når du jobber med en .csv-fil med millioner av rader med data, kommer du åpenbart ikke til å få mye mening ut av det manuelt. Du vil sannsynligvis filtrere dataene og kjøre spesifikke søk for å forstå trender.

Så hvorfor ikke skrive Python-kode for å gjøre nettopp det?

Nok en gang er dette ikke den mest brukervennlige metoden. Selv om Python ikke er det vanskeligste programmeringsspråket å lære , er det koding, så det er kanskje ikke den beste tilnærmingen for deg. Likevel, hvis du finner deg selv å måtte analysere gjennom virkelig store CSV-filer på daglig basis, vil du kanskje automatisere oppgaven med litt Python-kode .

Metode #5: Med Premium-verktøy

Tekstredigererne vi så i den første metoden var ikke dedikerte verktøy ment for CSV-behandling. De var generelle verktøy som også kunne brukes til å jobbe med store .csv-filer.

Men hva med spesialiserte applikasjoner? Er det ingen apper der ute som er laget for å løse dette problemet?

Det er det, faktisk. CSV Explorer bygger for eksempel på selve prosessen vi beskrev i de to siste metodene (SQL-database og Python-kode) for å lage en app som er i stand til å vise og redigere CSV-filer av alle størrelser. Du kan gjøre alt du forventer av et regnearkverktøy som å lage grafer eller filtrere dataene i CSV Explorer.

Et annet alternativ er UltraEdit . I motsetning til det forrige verktøyet, er dette ikke bare ment for .csv-filer, men for alle typer tekstfiler. Den kan enkelt håndtere tekst- og CSV-filer som strekker seg til noen få gigabyte, med et grensesnitt som ligner på mange av de gratis redaktørene vi diskuterte tidligere. 

Den eneste ulempen med disse verktøyene er at de er premiumapplikasjoner, som krever at du får en betalt lisens for å kunne bruke dem. Du kan alltid prøve ut deres gratis prøveversjoner for å sjekke ut funksjonene deres, eller hvis du bare har en engangsbruk.

Hva er den beste måten å åpne store tekst- og CSV-filer?

I denne alderen med Big Data er det ikke uvanlig å støte på tekstfiler som kjører inn i gigabyte, noe som kan være vanskelig til og med å se med innebygde verktøy som Notisblokk eller MS Excel. For å kunne åpne så store CSV-filer må du laste ned og bruke en tredjepartsapplikasjon.

Hvis alt du vil er å se slike filer, er Large Text File Viewer det beste valget for deg. For å faktisk redigere dem, kan du prøve en funksjonsrik tekstredigerer som Emacs, eller gå for et premiumverktøy som CSV Explorer.

Teknikker som å dele opp CSV-filen eller importere den til en database involverer bare for mange trinn. Du er bedre å få en betalt lisens for et dedikert premiumverktøy hvis du finner deg selv å jobbe mye med store tekstfiler.