MS Excel може да покаже 1 048 576 реда. Въпреки че това може да изглежда като наистина голям брой при нормална употреба, има много сценарии, при които това не е достатъчно.
Независимо дали разглеждате регистрационни файлове или големи набори от данни, лесно е да попаднете на CSV файлове с милиони редове или огромни текстови файлове. Тъй като Excel не може да поддържа толкова големи файлове, как точно ги отваряте? Нека разберем.
Защо нормалните текстови редактори не могат да отварят наистина големи файлове?
Компютърът разполага с гигабайти памет, така че защо текстовите редактори не могат да отварят големи файлове?
Тук играят два фактора. Някои приложения имат твърдо ограничение за това колко данни могат да показват. Няма значение колко памет има компютърът ви, те просто няма да го използват.
Вторият проблем е RAM. Много текстови редактори нямат твърдо ограничение за броя на редовете, но не могат да показват големи файлове поради ограничения на паметта. Те зареждат целия файл в системната RAM памет, така че ако тази памет не е достатъчно голяма, процесът се проваля.
Метод #1: Използване на безплатни редактори
Най-добрият начин да видите изключително големи текстови файлове е да използвате... текстов редактор. Не просто текстов редактор, а инструментите, предназначени за писане на код. Такива приложения обикновено могат да обработват големи файлове без проблеми и са безплатни.
Прегледът на големи текстови файлове е може би най-простото от тези приложения. Наистина е лесен за използване, работи бързо и има много нисък ресурсен отпечатък. Единственият недостатък? Не може да редактира файловете. Но ако искате да разглеждате само големи CSV файлове, това е най-добрият инструмент за работа.
За редактиране на големи текстови файлове също трябва да опитате Emacs . Първоначално създаден за Unix системи, той работи перфектно и на Windows и може да обработва големи файлове. По същия начин Neovim и Sublime Text са две леки IDE, които могат да се използват за отваряне на CSV текстови файлове с размер на гигабайт.
Ако всичко, което търсите, е да търсите данни чрез големи регистрационни файлове, тогава klogg е точно инструментът за вас. Актуализиращо разклонение на популярното glogg , това приложение ви позволява да извършвате сложни операции за търсене чрез огромни текстови файлове с лекота. Тъй като компютърно генерираните регистрационни файлове често могат да имат милиони редове, klogg е проектиран да работи с такива размери на файлове без проблем.
Метод #2: Разделете на няколко части
Целият проблем с опитите за отваряне на големи CSV файлове е, че те са твърде големи. Но какво ще стане, ако трябва да ги разделите на множество по-малки файлове?
Това е популярно решение, тъй като обикновено не включва изучаване на интерфейса на нов текстов редактор. Вместо това можете да използвате един от многото CSV сплитери, налични онлайн, за да разделите големия файл на няколко лесни за отваряне файлове. След това всеки от тези файлове може да бъде достъпен нормално.
Това обаче не е най-добрият начин за това. Разделянето на голям файл често може да доведе до странни правописни грешки или неправилно конфигурирани файлове. Освен това отварянето на всяка част поотделно ви предпазва от филтриране на всички данни наведнъж.
Метод #3: Импортиране в база данни
Текстовите и .csv файлове, разширяващи се до няколко гигабайта, обикновено са големи набори от данни. Така че защо просто не ги импортирате в база данни?
SQL е най-разпространеният език за маркиране на бази данни, използван в наши дни. Използват се много версии на SQL , но най-лесната вероятно е MySQL. И за късмет е възможно да конвертирате CSV файл в MySQL таблица .
Това в никакъв случай не е най-лесният метод за работа с големи CSV файлове, така че го препоръчваме само ако искате редовно да работите с големи набори от данни. Ако MySQL звучи твърде трудно, винаги можете вместо това да импортирате вашите .csv файлове в MS Access .
Метод #4: Анализирайте с библиотеки на Python
Когато работите с .csv файл с милиони редове с данни, очевидно няма да можете да го разберете ръчно. Вероятно искате да филтрирате данните и да изпълните конкретни заявки, за да разберете тенденциите.
Така че защо да не напишете код на Python, за да направите точно това?
Още веднъж, това не е най-удобният метод. Въпреки че Python не е най-трудният за научаване език за програмиране , той кодира, така че може да не е най-добрият подход за вас. И все пак, ако откриете, че трябва да анализирате наистина големи CSV файлове ежедневно, може да искате да автоматизирате задачата с някакъв код на Python .
Метод #5: С първокласни инструменти
Текстовите редактори, които видяхме в първия метод, не бяха специални инструменти, предназначени за обработка на CSV. Те бяха инструменти с общо предназначение, които можеха да се използват и за работа с големи .csv файлове.
Но какво да кажем за специализираните приложения? Няма ли приложения, които да са създадени за решаване на този проблем?
Всъщност има. CSV Explorer , например, се основава на самия процес, който описахме в последните два метода (SQL база данни и Python код), за да създаде приложение, способно да преглежда и редактира CSV файлове от всякакъв размер. Можете да правите всичко, което очаквате от инструмент за електронни таблици, като например създаване на графики или филтриране на данните в CSV Explorer.
Друг вариант е UltraEdit . За разлика от предишния инструмент, това е предназначено не само за .csv файлове, но и за всеки тип текстов файл. Той може лесно да обработва текстови и CSV файлове, вариращи до няколко гигабайта, с интерфейс, подобен на много от безплатните редактори, които обсъдихме по-рано.
Единственият недостатък на тези инструменти е, че те са премиум приложения, изискващи да получите платен лиценз, за да можете да ги използвате. Винаги можете да изпробвате техните безплатни пробни версии, за да проверите функциите им, или ако имате само еднократна употреба.
Кой е най-добрият начин за отваряне на големи текстови и CSV файлове?
В тази епоха на големи данни не е необичайно да се сблъскате с текстови файлове с големина на гигабайти, които могат да бъдат трудни дори за преглед с вградени инструменти като Notepad или MS Excel. За да можете да отваряте толкова големи CSV файлове, трябва да изтеглите и използвате приложение на трета страна.
Ако всичко, което искате, е да преглеждате такива файлове, тогава Large Text File Viewer е най-добрият избор за вас. За да ги редактирате, можете да опитате богат на функции текстов редактор като Emacs или да изберете премиум инструмент като CSV Explorer.
Техники като разделянето на CSV файла или импортирането му в база данни включват твърде много стъпки. По-добре е да получите платен лиценз за специален премиум инструмент, ако установите, че работите често с огромни текстови файлове.