MS Excel voi näyttää 1 048 576 riviä. Vaikka se voi tuntua todella suurelta määrältä normaalikäytössä, on monia skenaarioita, joissa se ei ole aivan tarpeeksi.
Katsoitpa lokitiedostoja tai suuria tietojoukkoja, on helppo löytää CSV-tiedostoja, joissa on miljoonia rivejä tai valtavia tekstitiedostoja. Koska Excel ei voi tukea näin suuria tiedostoja, miten ne tarkalleen avataan? Otetaan selvää.
Miksi normaalit tekstieditorit eivät voi avata todella suuria tiedostoja?
Tietokoneessa on gigatavua tallennustilaa, joten miksi tekstieditorit eivät voi avata suuria tiedostoja?
Tässä on kaksi tekijää pelissä. Joillakin sovelluksilla on kovakoodattu rajoitus sille, kuinka paljon dataa ne voivat näyttää. Ei ole väliä kuinka paljon muistia tietokoneessasi on, he eivät vain käytä sitä.
Toinen ongelma on RAM. Monilla tekstieditoreilla ei ole kovaa rajoitusta rivien lukumäärälle, mutta ne eivät pysty näyttämään suuria tiedostoja muistirajoitusten vuoksi. He lataavat koko tiedoston järjestelmän RAM-muistiin, joten jos tämä muisti ei ole tarpeeksi suuri, prosessi epäonnistuu.
Tapa 1: Ilmaisten editorien käyttäminen
Paras tapa tarkastella erittäin suuria tekstitiedostoja on käyttää… tekstieditoria. Ei vain mikä tahansa tekstieditori, vaan koodin kirjoittamiseen tarkoitetut työkalut. Tällaiset sovellukset voivat yleensä käsitellä suuria tiedostoja ilman ongelmia ja ovat ilmaisia.
Large Text File Viewer on luultavasti yksinkertaisin näistä sovelluksista. Se on todella helppokäyttöinen, toimii nopeasti ja sen resurssienjälki on erittäin pieni. Ainoa haittapuoli? Se ei voi muokata tiedostoja. Mutta jos haluat tarkastella vain suuria CSV-tiedostoja, tämä on paras työkalu työhön.
Myös suurten tekstitiedostojen muokkaamiseen kannattaa kokeilla Emacsia . Alun perin Unix-järjestelmille luotu se toimii erinomaisesti myös Windowsissa ja pystyy käsittelemään suuria tiedostoja. Samoin Neovim ja Sublime Text ovat kaksi kevyttä IDE:tä, joita voidaan käyttää gigatavun kokoisten CSV-tekstitiedostojen avaamiseen.
Jos etsit vain tietoja suurten lokitiedostojen kautta, klogg on juuri sinulle sopiva työkalu. Suositun gloggin päivityshaarukka , tämä sovellus mahdollistaa monimutkaisten hakutoimintojen suorittamisen valtavien tekstitiedostojen kautta helposti. Koska tietokoneella luoduissa lokitiedostoissa voi usein olla miljoonia rivejä, klogg on suunniteltu toimimaan tällaisten tiedostokokojen kanssa ilman ongelmia.
Tapa 2: Jaa useisiin osiin
Koko ongelma yritettäessä avata suuria CSV-tiedostoja on, että ne ovat liian suuria. Mutta entä jos jakaisit nämä useisiin pienempiin tiedostoihin?
Tämä on suosittu ratkaisu, koska se ei yleensä edellytä uuden tekstieditorin käyttöliittymän oppimista. Sen sijaan voit käyttää yhtä monista verkossa saatavilla olevista CSV-jakajista jakaaksesi suuren tiedoston useiksi helposti avattaviksi tiedostoiksi. Jokainen näistä tiedostoista voidaan sitten käyttää normaalisti.
Tämä ei kuitenkaan ole paras tapa edetä asiassa. Suuren tiedoston jakaminen voi usein johtaa outoihin kirjoitusvirheisiin tai väärin määritettyihin tiedostoihin. Lisäksi jokaisen osan avaaminen erikseen estää sinua suodattamasta koko dataa kerralla.
Tapa 3: Tuo tietokantaan
Useisiin gigatavuihin ulottuvat teksti- ja csv-tiedostot ovat yleensä suuria tietojoukkoja. Joten miksi ei vain tuoda niitä tietokantaan?
SQL on nykyään yleisin tietokannan merkintäkieli. SQL:stä on käytössä useita versioita , mutta helpoin on luultavasti MySQL. Ja kuten onni, on mahdollista muuntaa CSV-tiedosto MySQL-taulukoksi .
Tämä ei suinkaan ole helpoin tapa käsitellä suuria CSV-tiedostoja, joten suosittelemme tätä vain, jos haluat käsitellä suuria tietojoukkoja säännöllisesti. Jos MySQL kuulostaa liian vaikealta, voit aina tuoda .csv-tiedostosi MS Accessiin .
Menetelmä 4: Analysoi Python-kirjastoilla
Kun työskentelet miljoonia tietorivejä sisältävän .csv-tiedoston kanssa, et selvästikään pysty ymmärtämään sitä manuaalisesti. Haluat luultavasti suodattaa tiedot ja suorittaa tiettyjä kyselyitä ymmärtääksesi trendejä.
Joten miksi et kirjoittaisi Python-koodia tehdäksesi juuri sen?
Jälleen kerran, tämä ei ole käyttäjäystävällisin tapa. Vaikka Python ei ole vaikein ohjelmointikieli oppia , se on koodausta, joten se ei ehkä ole paras tapa sinulle. Jos kuitenkin joudut jäsentämään todella suuria CSV-tiedostoja päivittäin, sinun kannattaa ehkä automatisoida tehtävä jollain Python-koodilla .
Menetelmä 5: Premium-työkaluilla
Ensimmäisessä menetelmässä näkemämme tekstieditorit eivät olleet CSV-käsittelyyn tarkoitettuja työkaluja. Ne olivat yleiskäyttöisiä työkaluja, joita voitiin käyttää myös suurten .csv-tiedostojen kanssa.
Mutta entä erikoissovellukset? Eikö olemassa sovelluksia, jotka on luotu ratkaisemaan tämän ongelman?
Itse asiassa niitä on. Esimerkiksi CSV Explorer perustuu samaan prosessiin, jota kuvailimme kahdessa viimeisessä menetelmässä (SQL-tietokanta ja Python-koodi) luodakseen sovelluksen, joka pystyy katselemaan ja muokkaamaan kaikenkokoisia CSV-tiedostoja. Voit tehdä kaiken mitä laskentataulukkotyökalulta odotat, kuten luoda kaavioita tai suodattaa tietoja CSV Explorerissa.
Toinen vaihtoehto on UltraEdit . Toisin kuin edellinen työkalu, tämä ei ole tarkoitettu vain .csv-tiedostoille, vaan kaikentyyppisille tekstitiedostoille. Se pystyy käsittelemään helposti muutaman gigatavun teksti- ja CSV-tiedostoja, ja sen käyttöliittymä on samanlainen kuin monet aiemmin keskustelleet ilmaiseditorit.
Näiden työkalujen ainoa haittapuoli on, että ne ovat premium-sovelluksia, joiden käyttäminen edellyttää maksullisen lisenssin hankkimista. Voit aina kokeilla heidän ilmaisia kokeiluversioita tarkistaaksesi niiden ominaisuudet tai jos sinulla on vain kertakäyttöinen käyttö.
Mikä on paras tapa avata suuria teksti- ja CSV-tiedostoja?
Tällä Big Datan aikakaudella ei ole harvinaista törmätä gigatavujen kokoisiin tekstitiedostoihin, joita voi olla vaikea edes tarkastella sisäänrakennetuilla työkaluilla, kuten Notepad tai MS Excel. Jotta voit avata tällaisia suuria CSV-tiedostoja, sinun on ladattava ja käytettävä kolmannen osapuolen sovellusta.
Jos haluat vain katsella tällaisia tiedostoja, Large Text File Viewer on paras valinta sinulle. Voit itse muokata niitä kokeilemalla monipuolista tekstieditoria, kuten Emacsia, tai valita premium-työkalun, kuten CSV Explorerin.
Tekniikat, kuten CSV-tiedoston jakaminen tai sen tuominen tietokantaan, sisältävät aivan liian monta vaihetta. Sinun on parempi hankkia maksullinen lisenssi erityiselle premium-työkalulle, jos huomaat työskenteleväsi paljon valtavien tekstitiedostojen kanssa.