Zeit, sehr große (100G) Dateien zu komprimieren

Ich muss eine Reihe sehr großer Dateien (80-ish GB) komprimieren, und ich bin überrascht über die (fehlende) Geschwindigkeit, die mein System aufweist. Ich bekomme ungefähr 500 MB / min Konvertierungsgeschwindigkeit; Mit top scheine ich eine einzelne CPU zu ungefähr 100% zu verwenden.

Ich bin mir ziemlich sicher, dass es nicht (nur) die Geschwindigkeit des Festplattenzugriffs ist, da das Erstellen einer tar - Datei (so wurde die 80G-Datei erstellt) nur wenige Minuten dauerte (vielleicht 5 oder 10), aber nach mehr als 2 Stunden mein einfaches gzip befehl ist immer noch nicht erledigt.

Zusammenfassend:

tar -cvf myStuff.tar myDir/*

Dauerte

gzip myStuff.tar

Dauerte zwei Stunden und 10 Minuten, um eine 55G ZIP-Datei zu erstellen.

Meine Frage: Ist das normal? Gibt es bestimmte Optionen in gzip, um die Dinge zu beschleunigen? Wäre es schneller, die Befehle zu verketten und tar -cvfz zu verwenden? Ich sah Verweis auf pigz - Parallele Implementierung von GZip - aber leider kann ich keine Software auf dem von mir verwendeten Computer installieren, also das ist für mich keine Option. Siehe zum Beispiel diese frühere Frage.

Ich beabsichtige, einige dieser Optionen selbst auszuprobieren und sie zu planen - aber es ist sehr wahrscheinlich, dass ich nicht auf "die magische Kombination" von Optionen stoße. Ich hoffe, dass jemand auf dieser Seite den richtigen Trick kennt, um die Dinge zu beschleunigen.

Wenn ich die Ergebnisse anderer Versuche zur Verfügung habe, werde ich diese Frage aktualisieren - aber wenn jemand einen besonders guten Trick zur Verfügung hat, würde ich mich sehr freuen es. Vielleicht dauert das gzip nur mehr Verarbeitungszeit als mir klar wurde...

UPDATE

Wie versprochen habe ich die folgenden Tricks ausprobiert: Ändern Sie die Komprimierungsmenge und ändern Sie das Ziel der Datei. Ich habe die folgenden Ergebnisse für einen Tar erhalten, der ungefähr 4.1 GB war:

flag    user      system   size    sameDisk
-1     189.77s    13.64s  2.786G     +7.2s 
-2     197.20s    12.88s  2.776G     +3.4s
-3     207.03s    10.49s  2.739G     +1.2s
-4     223.28s    13.73s  2.735G     +0.9s
-5     237.79s     9.28s  2.704G     -0.4s
-6     271.69s    14.56s  2.700G     +1.4s
-7     307.70s    10.97s  2.699G     +0.9s
-8     528.66s    10.51s  2.698G     -6.3s
-9     722.61s    12.24s  2.698G     -4.0s

Also ja, das Ändern des Flags vom Standard -6 zum schnellsten -1 gibt mir eine 30% ige Beschleunigung, wobei sich (für meine Daten) kaum an der Größe der Zip-Datei ändert. Ob ich benutze die gleiche Festplatte oder eine andere macht im Wesentlichen keinen Unterschied (ich müsste dies mehrmals ausführen, um eine statistische Signifikanz zu erhalten).

Wenn jemand interessiert ist, habe ich diese Timing-Benchmarks mit den folgenden beiden Skripten generiert:

#!/bin/bash
# compare compression speeds with different options
sameDisk='./'
otherDisk='/tmp/'
sourceDir='/dirToCompress'
logFile='./timerOutput'
rm $logFile

for i in {1..9}
  do  /usr/bin/time -a --output=timerOutput ./compressWith $sourceDir $i $sameDisk $logFile
  do  /usr/bin/time -a --output=timerOutput ./compressWith $sourceDir $i $otherDisk $logFile
done

Und das zweite Skript (compressWith):

#!/bin/bash
# use: compressWith sourceDir compressionFlag destinationDisk logFile
echo "compressing $1 to $3 with setting $2" >> $4
tar -c $1 | gzip -$2 > $3test-$2.tar.gz

Drei Dinge zu beachten:

1. Mit /usr/bin/time anstelle von time, da der eingebaute Befehl von bash viel weniger Optionen hat als der GNU-Befehl
2. Ich habe nicht verwenden Sie die Option --format, obwohl dies das Lesen der Protokolldatei erleichtern würde
3. Ich habe ein Script-in-a-Script verwendet, da time nur mit dem ersten Befehl in einer Piped-Sequenz zu funktionieren schien (also ließ ich es wie einen einzigen Befehl aussehen...).

Bei all dem Gelernten sind meine Schlussfolgerungen

1. Beschleunigen Sie die Dinge mit dem Flag -1 (akzeptierte Antwort)
2. Es wird viel mehr Zeit damit verbracht, die Daten zu komprimieren, als von der Festplatte zu lesen
3. Investieren Sie schneller Komprimierungssoftware (pigz scheint eine gute Wahl zu sein).
4. Wenn Sie mehrere Dateien komprimieren müssen, können Sie jeden gzip Befehl in einen eigenen Thread einfügen und mehr von der verfügbaren CPU verwenden (poor man ' s pigz)

Danke allen, die mir geholfen haben, all das zu lernen!