Anwendung zum Öffnen / Bearbeiten einer sehr großen CSV-Datei (500 MB, 4 Millionen Datensätze)? [doppelt]

Diese Frage hat hier bereits Antworten: Geschlossen vor 10 Jahren.

Mögliche Duplikate:
Texteditor für sehr große Datei-Fenster
Mit welchem Editor / Viewer können Sie große textbasierte Dateien überprüfen?

Ich habe eine CSV-Datei mit etwa 4 Millionen Zeilen und einer Größe von etwa 500 MB. Können Sie einen Editor empfehlen, der die Datei öffnen kann, ohne dass das System kriecht? Ich habe versucht, EmEditor aber es beschwert sich, dass es zu viele Zeichen in einer einzigen Zeile gibt.

Author: Community, 2010-05-06

7 answers

Vim sollte ziemlich gut funktionieren, wenn Sie einige Einstellungen ändern, um den Auslagerungsbereich und die Rückgängig-Funktionalität zu deaktivieren: http://vim.wikia.com/wiki/VimTip611

 7
Author: Herbert Sitz,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/techietown.info/template/agent.layouts/content.php on line 61
2010-05-07 00:00:22

Ich habe JujuEdit (kostenlos) verwendet, um mit 2GB CSVs in der Vergangenheit zu arbeiten. Behandelt sie ziemlich gut. Was machen Sie mit dem Inhalt? Eine andere Möglichkeit besteht möglicherweise darin, eine mit MS Access verknüpfte Tabelle auf die Datei zu verweisen, wenn Sie Abfragen/Sortieren/filtern müssen.

 3
Author: Chris_K,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/techietown.info/template/agent.layouts/content.php on line 61
2010-05-06 19:48:44

Sie könnten CSVed versuchen. Es behauptet, Teile der Datei bei Bedarf zu laden, sodass sie möglicherweise für Sie funktioniert.

 3
Author: afrazier,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/techietown.info/template/agent.layouts/content.php on line 61
2010-05-06 20:58:57

Definieren Sie "Bearbeiten". Wie möchten Sie die Datei bearbeiten? Sehen Sie es nur an oder möchten Sie Änderungen vornehmen? Sind es Änderungen, die Sie programmatisch vornehmen würden? Wenn ja, möchten Sie vielleicht awk, sed oder Perl verwenden, um dies zu tun.

In Bezug auf "es beschwert sich, dass es zu viele Zeichen in einer einzelnen Zeile gibt", ist es wahrscheinlich, dass es Zeilenenden hat, mit denen es nicht umgehen kann. Es würde helfen, wenn Sie uns sagen würden, auf welcher Plattform Sie sich befinden.

 3
Author: Andy Lester,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/techietown.info/template/agent.layouts/content.php on line 61
2010-05-06 21:17:51

Ich habe alle dort vorgeschlagenen Editoren getestet und der einzige, der es geschafft hat, es (in angemessener Zeit) zu öffnen, war UltraEdit.


Update -

Es stellte sich heraus, dass die Datei keinen Zeilenumbruch hatte (sie verwendete ein anderes Zeichen dafür), daher war es schwierig, sie zu öffnen. Ich habe ein Programm geschrieben, das alle diese Zeichen durch Zeilenumbrüche ersetzt hat, und EmEditor hat es in Sekunden geöffnet.

 3
Author: Giorgi,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/techietown.info/template/agent.layouts/content.php on line 61
2010-05-09 09:11:35

Ich glaube, dass UltraEdit wahrscheinlich könnte. Ich habe es für Superhuge Gig+ - Dateien verwendet und es ist nicht abgestürzt, aber das Auffinden der gesuchten Daten ist wahrscheinlich ein Schmerz. Können Sie tun, was Sie programmetrisch tun müssen? Da Sie CSV gesagt haben, gehen Sie davon aus, dass es sich um Textdaten handelt, daher ist Perl möglicherweise aufgrund seiner String-Behandlung und anständigen RegEx eine gute Wahl.

 2
Author: Blackbeagle,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/techietown.info/template/agent.layouts/content.php on line 61
2010-05-07 00:38:11

Haben Sie Excel ausprobiert? Es behandelt CSV-Dateien.

Ich bin mir der Dateibeschränkung von Excel 2007 nicht sicher, aber Excel 2010 64 Bit unterstützt jetzt Tabellen mit einer Größe von bis zu 4 GB.

 1
Author: Mike Fitzpatrick,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/techietown.info/template/agent.layouts/content.php on line 61
2010-05-06 23:27:19