Kā atvērt patiešām lielus teksta un CSV failus

MS Excel var parādīt 1 048 576 rindas. Lai gan parastā lietošanā tas var šķist patiešām liels skaits, ir daudz scenāriju, kad ar to nepietiek.

Neatkarīgi no tā, vai skatāties žurnāla failus vai lielas datu kopas, ir viegli atrast CSV failus ar miljoniem rindu vai milzīgu teksta failu. Tā kā Excel nevar atbalstīt tik lielus failus, kā tieši tos atvērt? Noskaidrosim.

Kāpēc parastie teksta redaktori nevar atvērt patiešām lielus failus?

Datoram ir gigabaiti krātuves, tad kāpēc teksta redaktori nevar atvērt lielus failus?

Šeit spēlē divi faktori. Dažām lietojumprogrammām ir iekodēts ierobežojums, cik daudz datu tās var parādīt. Nav svarīgi, cik daudz atmiņas ir jūsu datoram, viņi to vienkārši neizmantos.

Otra problēma ir RAM. Daudziem teksta redaktoriem nav stingru rindu skaita ierobežojumu, taču atmiņas ierobežojumu dēļ tie nevar parādīt lielus failus. Viņi ielādē visu failu sistēmas RAM, tādēļ, ja šī atmiņa nav pietiekami liela, process neizdodas.

1. metode: bezmaksas redaktoru izmantošana

Labākais veids, kā skatīt ārkārtīgi lielus teksta failus, ir izmantot... teksta redaktoru. Ne tikai jebkurš teksta redaktors, bet koda rakstīšanai paredzētie rīki. Šādas lietotnes parasti bez aizķeršanās var apstrādāt lielus failus un ir bezmaksas.

Liela teksta failu skatītājs , iespējams, ir vienkāršākā no šīm lietojumprogrammām. Tas ir patiešām viegli lietojams, darbojas ātri un tam ir ļoti mazs resursu nospiedums. Vienīgais mīnuss? Tas nevar rediģēt failus. Bet, ja vēlaties skatīt tikai lielus CSV failus, šis ir labākais rīks šim darbam.

Lai rediģētu arī lielus teksta failus, jums vajadzētu izmēģināt Emacs . Sākotnēji tas tika izveidots Unix sistēmām, un tas lieliski darbojas arī operētājsistēmā Windows un var apstrādāt lielus failus. Tāpat Neovim un Sublime Text ir divas vieglas IDE, kuras var izmantot, lai atvērtu gigabaitu lieluma CSV teksta failus.

Ja viss, ko meklējat, ir datu meklēšana, izmantojot lielus žurnālfailus, tad klogg ir tikai jums piemērots rīks. Šī lietojumprogramma ir populārā glogg atjaunināšanas daļa , kas ļauj viegli veikt sarežģītas meklēšanas darbības, izmantojot milzīgus teksta failus. Tā kā datora ģenerētajos žurnālfailos bieži var būt miljoniem rindu, klogg ir paredzēts darbam ar šāda izmēra failiem bez problēmām.

2. metode: sadaliet vairākās daļās

Visa problēma, mēģinot atvērt lielus CSV failus, ir tā, ka tie ir pārāk lieli. Bet ko darīt, ja jūs tos sadalītu vairākos mazākos failos?

Šis ir populārs risinājums, jo parasti nav jāapgūst jauna teksta redaktora saskarne. Tā vietā varat izmantot kādu no daudzajiem tiešsaistē pieejamajiem CSV sadalītājiem, lai sadalītu lielo failu vairākos viegli atveramos failos. Pēc tam katram no šiem failiem var piekļūt kā parasti.

Tomēr tas nav labākais veids, kā rīkoties. Liela faila sadalīšana bieži var izraisīt dīvainas drukas kļūdas vai nepareizi konfigurētus failus. Turklāt katras daļas atvēršana atsevišķi neļauj filtrēt visus datus uzreiz.

3. metode: importēšana datu bāzē

Teksta un .csv faili, kas sniedzas līdz vairākiem gigabaitiem, parasti ir lielas datu kopas. Tātad, kāpēc ne tikai importēt tos datu bāzē?

SQL ir mūsdienās visizplatītākā datu bāzes iezīmēšanas valoda. Tiek izmantotas daudzas SQL versijas , taču visvienkāršākā, iespējams, ir MySQL. Un, ja tas būtu paveicies, ir iespējams konvertēt CSV failu par MySQL tabulu .

Šī nebūt nav vienkāršākā metode, kā rīkoties ar lieliem CSV failiem, tāpēc mēs to iesakām tikai tad, ja vēlaties regulāri strādāt ar lielām datu kopām. Ja MySQL izklausās pārāk grūts, vienmēr varat importēt savus .csv failus uz MS Access .

4. metode: analizējiet ar Python bibliotēkām

Strādājot ar .csv failu ar miljoniem datu rindu, jūs acīmredzami nevarēsit to saprast manuāli. Jūs, iespējams, vēlaties filtrēt datus un izpildīt konkrētus vaicājumus, lai izprastu tendences.

Tātad, kāpēc gan nerakstīt Python kodu , lai to izdarītu?

Atkal šī nav lietotājam draudzīgākā metode. Lai gan Python nav visgrūtāk apgūstamā programmēšanas valoda , tā ir kodēšana, tāpēc tā var nebūt jums labākā pieeja. Tomēr, ja jums katru dienu ir jāparsē ļoti lieli CSV faili, iespējams, vēlēsities automatizēt uzdevumu, izmantojot kādu Python kodu .

5. metode: ar Premium rīkiem

Teksta redaktori, ko redzējām pirmajā metodē, nebija īpaši rīki, kas paredzēti CSV apstrādei. Tie bija vispārējas nozīmes rīki, kurus varēja izmantot arī darbam ar lieliem .csv failiem.

Bet kā ar specializētajām lietojumprogrammām? Vai nav nevienas lietotnes, kas būtu izveidotas, lai atrisinātu šo problēmu?

Patiesībā tādas ir. Piemēram, CSV Explorer pamatā ir process, ko mēs aprakstījām pēdējās divās metodēs (SQL datu bāze un Python kods), lai izveidotu lietotni, kas spēj skatīt un rediģēt jebkura izmēra CSV failus. Varat darīt visu, ko sagaidāt no izklājlapu rīka, piemēram, izveidot diagrammas vai filtrēt datus programmā CSV Explorer.

Vēl viena iespēja ir UltraEdit . Atšķirībā no iepriekšējā rīka, tas ir paredzēts ne tikai .csv failiem, bet jebkura veida teksta failiem. Tas var viegli apstrādāt teksta un CSV failus, kuru lielums ir daži gigabaiti, un tā saskarne ir līdzīga daudziem bezmaksas redaktoriem, par kuriem mēs runājām iepriekš. 

Vienīgais šo rīku trūkums ir tas, ka tie ir augstākās kvalitātes lietojumprogrammas, kuru izmantošanai ir nepieciešama maksas licence. Jūs vienmēr varat izmēģināt to bezmaksas izmēģinājuma versijas, lai pārbaudītu to funkcijas, vai arī, ja to izmantojat tikai vienreiz.

Kāds ir labākais veids, kā atvērt lielus teksta un CSV failus?

Šajā lielo datu laikmetā nereti saskaras ar teksta failiem, kuru lielums sasniedz gigabaitus un kurus var būt grūti pat apskatīt, izmantojot iebūvētos rīkus, piemēram, Notepad vai MS Excel. Lai varētu atvērt tik lielus CSV failus, jums ir jālejupielādē un jāizmanto trešās puses lietojumprogramma.

Ja viss, ko vēlaties, ir skatīt šādus failus, tad Large Text File Viewer ir labākā izvēle jums. Lai tos faktiski rediģētu, varat izmēģināt ar funkcijām bagātu teksta redaktoru, piemēram, Emacs, vai izvēlēties tādu augstākās kvalitātes rīku kā CSV Explorer.

Tādas metodes kā CSV faila sadalīšana vai importēšana datu bāzē ietver pārāk daudz darbību. Ja daudz strādājat ar lieliem teksta failiem, labāk ir iegūt maksas licenci īpašam premium rīkam.