Wie kann ich ein ganzes (aktives) phpbb Forum herunterladen?

Ich mache das gerade. Hier ist der Befehl, den ich verwende:

wget -k -m -E -p -np -R memberlist.php*,faq.php*,viewtopic.php*p=*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* -o log.txt http://www.example.com/forum/

Ich wollte diese lästigen Session-ID-Dinge ausziehen (sid=blahblahblah). Sie scheinen automatisch von der Indexseite hinzugefügt zu werden und werden dann virenähnlich an alle Links angehängt. Bis auf einen, der irgendwo weggewirbelt ist - der auf einen einfachen Index verweist.php, das dann ohne sid= parameter fortgesetzt wird. (Vielleicht gibt es eine Möglichkeit, das rekursive wget zu zwingen, mit dem Index zu beginnen.php-ich nicht wissen).

Ich habe auch einige andere Seiten ausgeschlossen, die dazu führen, dass viele Cruft gespeichert werden. Insbesondere Memberliste.viewtopic php und.php, wo p= angegeben ist, können schaffen Tausende von Dateien!

Aufgrund dieses Fehlers in wget http://savannah.gnu.org/bugs/?20808 es wird immer noch eine erstaunliche Anzahl dieser nutzlosen Dateien herunterladen-esepcially viewtopic.php?p= Einsen-bevor sie einfach gelöscht werden. Das wird also viel Zeit und Bandbreite verbrennen.

Vor kurzem habe ich konfrontiert ein ähnliches Problem mit einem phpBB-Seite, die ich häufiger die unmittelbar vor der Ausrottung (leider aufgrund der admin-vergehen). Mit über 7 Jahren Posts im Forum wollte ich es nicht verschwinden sehen, also habe ich ein Perl-Skript geschrieben, um alle Themen zu gehen und sie als flache HTML-Dateien auf der Festplatte zu speichern. Falls jemand anderes mit einem ähnlichen Problem konfrontiert ist, ist das Skript hier verfügbar:

Https://gist.github.com/2030469

Es basiert auf einem regulären Ausdruck, um die Anzahl der Beiträge in ein Thema (zum Paginieren erforderlich), das jedoch im Allgemeinen funktionieren sollte. Einige der regulären Ausdrücke müssen möglicherweise je nach phpBB-Thema angepasst werden.

Versuchen Sie, eine Kombination von wget flags wie:

wget -m -k www.example.org/phpbb

Wobei-m Spiegel ist und-k "Links konvertieren"ist. Möglicherweise möchten Sie auch-p hinzufügen, um Bilder herunterzuladen, da ich mich nicht erinnern kann, ob-m dies tut.

Hier einige zusätzliche Informationen zu @andrew-russell -

Immer noch viel Lärm, aber ein Anfang, wenn Sie sich anmelden müssen.

Dieses Projekt sieht vielversprechend aus, hat aber bei mir nicht ganz funktioniert: https://github.com/lairdshaw/fups

Beispiel mit login:

PHPBB_URL=http://www.someserver.com/phpbb
USER=MyUser
PASS=MyPass

wget --save-cookies=./session-cookies-$USER $PHPBB_URL/ucp.php?mode=login -O - 1> /dev/null 2> /dev/null

SID=`cat ./session-cookies-$USER | grep _sid | cut -d$'\011' -f7`

echo "Login $USER --> $PHPBB_URL SID=$SID"

wget --save-cookies=./session-cookies-$USER \
 --post-data="username=$USER&password=$PASS&redirect=index.php&sid=$SID&login=Login" \
 $PHPBB_URL/ucp.php?mode=login --referer="$PHPBB_URL/ucp.php?mode=login" \
 -O - 1> /dev/null 2> /dev/null

wget --load-cookies ./session-cookies-$USER -k -m -E -p -np -R memberlist.php*,faq.php*,viewtopic.php*p=*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* $PHPBB_URL/viewtopic.php?t=27704

######## loop thru topics see below(but above should get most with the options. 
#wget --load-cookies ./session-cookies-$USER -k -m -E -p -np -R $PHPBB_URL/viewtopic.php?t={1..29700}

HTTrack ist ein Werkzeug, das Ihnen helfen könnte. Ich bin mir jedoch nicht sicher, ob es in Foren funktionieren wird.