Hur man öppnar riktigt stora text- och CSV-filer

MS Excel kan visa 1 048 576 rader. Även om det kan verka som ett riktigt stort antal vid normal användning, finns det många scenarier där det inte riktigt räcker.

Oavsett om du tittar på loggfiler eller stora datamängder är det lätt att stöta på CSV-filer med miljontals rader eller enorma textfiler. Eftersom Excel inte kan stödja så stora filer, exakt hur öppnar du dem? Låt oss ta reda på.

Varför kan vanliga textredigerare inte öppna riktigt stora filer?

En dator har gigabyte lagringsutrymme, så varför kan inte textredigerare öppna stora filer?

Det är två faktorer som spelar in här. Vissa applikationer har en hårdkodad gräns för hur mycket data de kan visa. Det spelar ingen roll hur mycket minne din dator har, de kommer helt enkelt inte att använda den.

Det andra problemet är RAM. Många textredigerare har ingen hård gräns för antalet rader, men kan inte visa stora filer på grund av minnesbegränsningar. De laddar in hela filen i systemets RAM, så om detta minne inte är tillräckligt stort misslyckas processen.

Metod #1: Använd gratisredigerare

Det bästa sättet att visa extremt stora textfiler är att använda... en textredigerare. Inte vilken textredigerare som helst, utan verktygen avsedda för att skriva kod. Sådana appar kan vanligtvis hantera stora filer utan problem och är gratis.

Large Text File Viewer är förmodligen den enklaste av dessa applikationer. Det är verkligen lätt att använda, fungerar snabbt och har ett mycket lågt resursavtryck. Den enda nackdelen? Den kan inte redigera filerna. Men om du bara vill se stora CSV-filer är detta utan tvekan det bästa verktyget för jobbet.

För att redigera stora textfiler också bör du prova Emacs . Ursprungligen skapad för Unix-system, fungerar den utmärkt även på Windows och kan hantera stora filer. På liknande sätt är Neovim och Sublime Text två lätta IDE:er som kan användas för att öppna gigabyte-stora CSV-textfiler.

Om allt du letar efter är att söka efter data genom stora loggfiler, då är klogg bara verktyget för dig. En uppdateringsgaffel av den populära glogg , denna applikation låter dig utföra komplexa sökoperationer genom enorma textfiler med lätthet. Eftersom datorgenererade loggfiler ofta kan ha miljontals rader, är klogg utformad för att fungera med sådana filstorlekar utan problem.

Metod #2: Dela upp i flera delar

Hela problemet med att försöka öppna stora CSV-filer är att de är för stora. Men vad händer om du skulle dela upp dessa i flera mindre filer?

Detta är en populär lösning, eftersom det i allmänhet inte innebär att du behöver lära dig gränssnittet för en ny textredigerare. Istället kan du använda en av de många CSV-delare som finns tillgängliga online för att dela upp den stora filen i ett antal lättöppnade filer. Var och en av dessa filer kan sedan nås normalt.

Detta är dock inte det bästa sättet att gå tillväga. Att dela upp en stor fil kan ofta leda till konstiga stavfel eller felaktigt konfigurerade filer. Genom att öppna varje del separat förhindrar du dessutom att filtrera igenom hela data på en gång.

Metod #3: Importera till en databas

Text- och .csv-filer som sträcker sig till flera gigabyte är i allmänhet stora datamängder. Så varför inte bara importera dem till en databas?

SQL är det vanligaste databasmarkeringsspråket som används idag. Det finns många versioner av SQL som används, men den enklaste är förmodligen MySQL. Och som tur är är det möjligt att konvertera en CSV-fil till en MySQL-tabell .

Detta är inte på något sätt den enklaste metoden för att hantera stora CSV-filer, så vi rekommenderar detta bara om du vill hantera stora datamängder på en regelbunden basis. Om MySQL låter för tufft kan du alltid importera dina .csv-filer till MS Access istället.

Metod #4: Analysera med Python-bibliotek

När du arbetar med en .csv-fil med miljontals rader med data, kommer du uppenbarligen inte att kunna förstå det manuellt. Du vill förmodligen filtrera data och köra specifika frågor för att förstå trender.

Så varför inte skriva Python-kod för att göra just det?

Återigen, detta är inte den mest användarvänliga metoden. Även om Python inte är det svåraste programmeringsspråket att lära sig , är det kodning, så det kanske inte är den bästa metoden för dig. Ändå, om du kommer på dig själv att behöva analysera riktigt stora CSV-filer dagligen, kanske du vill automatisera uppgiften med lite Python-kod .

Metod #5: Med premiumverktyg

Textredigerarna vi såg i den första metoden var inte dedikerade verktyg avsedda för CSV-bearbetning. De var generella verktyg som också kunde användas för att arbeta med stora .csv-filer.

Men hur är det med specialiserade applikationer? Finns det inga appar där ute som är skapade för att lösa detta problem?

Det finns faktiskt. CSV Explorer bygger till exempel på själva processen som vi beskrev i de två senaste metoderna (SQL-databas och Python-kod) för att skapa en app som kan visa och redigera CSV-filer av alla storlekar. Du kan göra allt du förväntar dig av ett kalkylarksverktyg som att skapa grafer eller filtrera data i CSV Explorer.

Ett annat alternativ är UltraEdit . Till skillnad från det tidigare verktyget är detta inte bara avsett för .csv-filer utan för alla typer av textfiler. Den kan enkelt hantera text- och CSV-filer som sträcker sig upp till några få gigabyte, med ett gränssnitt som liknar många av de gratisredigerare vi diskuterade tidigare. 

Den enda nackdelen med dessa verktyg är att de är premiumapplikationer, vilket kräver att du skaffar en betald licens för att kunna använda dem. Du kan alltid prova deras kostnadsfria testversioner för att kolla in deras funktioner, eller om du bara har en engångsanvändning.

Vad är det bästa sättet att öppna stora text- och CSV-filer?

I denna tid av Big Data är det inte ovanligt att stöta på textfiler som körs upp i gigabyte, vilket kan vara svårt att ens se med inbyggda verktyg som Notepad eller MS Excel. För att kunna öppna så stora CSV-filer behöver du ladda ner och använda en tredjepartsapplikation.

Om allt du vill är att se sådana filer, är Large Text File Viewer det bästa valet för dig. För att faktiskt redigera dem kan du prova en funktionsrik textredigerare som Emacs, eller gå till ett premiumverktyg som CSV Explorer.

Tekniker som att dela upp CSV-filen eller importera den till en databas innebär alldeles för många steg. Det är bättre att få en betald licens för ett dedikerat premiumverktyg om du kommer på att du arbetar mycket med stora textfiler.