Як відкрити дійсно великі текстові файли та файли CSV

MS Excel може відобразити 1 048 576 рядків. Хоча це може здатися справді великою кількістю за нормального використання, є багато сценаріїв, коли цього недостатньо.

Незалежно від того, чи переглядаєте ви файли журналу чи великі набори даних, ви легко натрапите на файли CSV із мільйонами рядків або величезні текстові файли. Оскільки Excel не підтримує такі великі файли, як саме їх відкрити? Давай дізнаємось.

Чому звичайні текстові редактори не можуть відкривати дійсно великі файли?

Комп’ютер має гігабайти пам’яті, то чому текстові редактори не можуть відкривати великі файли?

Тут діють два фактори. Деякі програми мають жорстко закодований ліміт на кількість даних, які вони можуть відображати. Немає значення, скільки пам’яті має ваш ПК, вони просто не використовуватимуть її.

Друга проблема - оперативна пам'ять. Багато текстових редакторів не мають жорсткого обмеження на кількість рядків, але не можуть відображати великі файли через обмеження пам’яті. Вони завантажують весь файл у системну оперативну пам’ять, тому, якщо пам’яті недостатньо, процес завершується збій.

Спосіб №1: використання безкоштовних редакторів

Найкращий спосіб перегляду надзвичайно великих текстових файлів — це використовувати… текстовий редактор. Не будь-який текстовий редактор, а інструменти, призначені для написання коду. Такі додатки зазвичай безкоштовні і без проблем обробляють великі файли.

Перегляд великих текстових файлів , мабуть, найпростіша з цих програм. Він дуже простий у використанні, працює швидко та має дуже низькі ресурси. Єдиний недолік? Він не може редагувати файли. Але якщо ви хочете переглядати лише великі файли CSV, це безперечно найкращий інструмент для роботи.

Для редагування великих текстових файлів також слід спробувати Emacs . Спочатку створений для систем Unix, він чудово працює також у Windows і може працювати з великими файлами. Подібним чином Neovim і Sublime Text є двома полегшеними IDE, які можна використовувати для відкриття текстових файлів CSV розміром гігабайт.

Якщо все, що вам потрібно, це пошук даних у великих файлах журналу, то klogg — це саме той інструмент для вас. Оновлюючи форк популярного glogg , ця програма дозволяє з легкістю виконувати складні пошукові операції у величезних текстових файлах. Оскільки файли журналу, створені комп’ютером, часто можуть містити мільйони рядків, klogg розроблено для роботи з файлами такого розміру без проблем.

Спосіб №2: розділити на кілька частин

Вся проблема спроби відкрити великі файли CSV полягає в тому, що вони занадто великі. Але що, якби ви розділили їх на кілька менших файлів?

Це популярне рішення, оскільки зазвичай не потребує вивчення інтерфейсу нового текстового редактора. Замість цього ви можете використати один із багатьох роздільників CSV, доступних в Інтернеті , щоб розбити великий файл на кілька файлів, які легко відкрити. До кожного з цих файлів можна отримати звичайний доступ.

Однак це не найкращий спосіб вирішити цю проблему. Розбиття великого файлу часто може призвести до дивних помилок або неправильно налаштованих файлів. Більше того, відкриття кожного блоку окремо запобігає фільтрації всіх даних одночасно.

Спосіб №3: імпорт до бази даних

Текстові файли та файли .csv розміром у декілька гігабайтів зазвичай є великими наборами даних. То чому б просто не імпортувати їх у базу даних?

SQL є найпоширенішою мовою розмітки бази даних, яка використовується сьогодні. Використовується багато версій SQL , але, ймовірно, найпростішою є MySQL. І як на щастя, файл CSV можна перетворити на таблицю MySQL .

Це аж ніяк не найпростіший спосіб роботи з великими файлами CSV, тому ми рекомендуємо його, лише якщо ви хочете мати справу з великими наборами даних на регулярній основі. Якщо MySQL звучить занадто жорстко, ви завжди можете імпортувати файли .csv до MS Access .

Спосіб №4: Аналізуйте за допомогою бібліотек Python

Коли ви працюєте з файлом .csv із мільйонами рядків даних, ви, очевидно, не зможете розібратися в цьому вручну. Можливо, ви захочете відфільтрувати дані та виконати певні запити, щоб зрозуміти тенденції.

Так чому б не написати код Python, щоб зробити саме це?

Знову ж таки, це не найзручніший метод. Хоча Python не є найскладнішою мовою програмування для вивчення , він кодує, тому це може бути не найкращим підходом для вас. І все- таки, якщо вам щодня доводиться аналізувати дуже великі файли CSV, ви можете автоматизувати це завдання за допомогою коду Python .

Спосіб №5: за допомогою преміальних інструментів

Текстові редактори, які ми бачили в першому методі, не були спеціальними інструментами, призначеними для обробки CSV. Це були інструменти загального призначення, які також можна було використовувати для роботи з великими файлами .csv.

Але як щодо спеціалізованих програм? Невже немає додатків, створених для вирішення цієї проблеми?

Насправді є. Наприклад, CSV Explorer ґрунтується на тому самому процесі, який ми описали в останніх двох методах (база даних SQL і код Python), щоб створити програму, здатну переглядати та редагувати файли CSV будь-якого розміру. Ви можете робити все, що очікуєте від інструмента для роботи з електронними таблицями, наприклад створювати графіки або фільтрувати дані в CSV Explorer.

Інший варіант — UltraEdit . На відміну від попереднього інструменту, цей інструмент призначений не лише для файлів .csv, а й для будь-якого типу текстових файлів. Він може легко обробляти текстові та файли CSV розміром до кількох гігабайт, маючи інтерфейс, подібний до багатьох безкоштовних редакторів, які ми обговорювали раніше. 

Єдиним недоліком цих інструментів є те, що вони є програмами преміум-класу, тому вам потрібно отримати платну ліцензію, щоб мати можливість ними користуватися. Ви завжди можете спробувати їх безкоштовні пробні версії, щоб перевірити їхні функції, або якщо ви маєте лише одноразове використання.

Який найкращий спосіб відкривати великі текстові файли та файли CSV?

У наш час великих даних нерідко можна зустріти текстові файли розміром у гігабайти, які важко навіть переглянути за допомогою вбудованих інструментів, таких як Блокнот або MS Excel. Щоб мати можливість відкривати такі великі файли CSV, вам потрібно завантажити та використовувати програму стороннього розробника.

Якщо все, що ви хочете, це переглядати такі файли, то Large Text File Viewer — найкращий вибір для вас. Для фактичного їх редагування ви можете спробувати багатофункціональний текстовий редактор, як-от Emacs, або скористатися преміальним інструментом, як-от CSV Explorer.

Такі методи, як розділення файлу CSV або імпортування його в базу даних, включають занадто багато кроків. Якщо ви часто працюєте з величезними текстовими файлами, вам краще придбати платну ліцензію на спеціальний інструмент преміум-класу.