Informazioni sulla privacy

Strumenti Utente

Strumenti Sito


pages:macondo:mod:backup

Considerazioni sul backup del sito

Avviso importante

dal primo settembre 2013 il sistema semiautomatico di backup non funziona più. Adesso bisogna ricordarsi di farlo manualmente di tanto in tanto. Può andar bene una frequenza settimanale.

Premesse

N.B. con AAAAMMGG si intende, in questa pagina, una data del tipo 20120614 dove 2012 è l'anno, 06 il mese e 14 il giorno. Con AAMMGG si intende, invece, una data con l'anno in forma breve; 120614 sarà quindi il 14 giugno 2012

Il sito era inizialmente gestito attraverso plesk. Adesso siamo gestiti da cpanel. La struttura che viene utilizzata dai due sistemi è diversa. Nel backup locale, di cui si parla più avanti, si è conservata, per ragioni storiche, la struttura di plesk. La differenza tra i due sistemi, da un punto di vista pratico, è che mentre plesk conserva le pagine del sito in una cartella denominata httpdocs, cpanel la denomina public_html. Quindi in caso di ripristino si devono copiare i file e cartelle presenti in httpdocs nella cartella remota public_html.

Considerazioni generali

Nella cartella Backup c'è un file raspi. La data è memorizzata nel file lanciando la pagina www.atrieste.eu/Backup/raspi.php?d=gg-mm-aaaa dove gg mm ed aaaa sono il giorno, mese ed anno della data a partire dalla quale i programmi ciu e ciuf (vedi più avanti) effettueranno la copia. Si raccomanda di non toccare questo file pena la perdita da parte del sistema delle informazioni su quali sono i file da copiare di volta in volta.

Nella cartella Backup non è più conservata alcuna copia dei file di backup, che si trovano tutti sulla macchina locale di SPMC o di chi ha effettuato le copie.

I backup conservati in locale

Il backup completo si trova sui dischi rimovibili a casa di SPMC, in una cartella denominata Atrieste_backup e scritta con un filesystem ext4 e quindi leggibile solo con il sistema operativo Linux.

Nella cartella c'è una sottocartella access_log con conservati tutti i log di accesso al sito. I nomi dei file sono del tipo access_log.processed.AAMMGG.gz dove AAMMGG è la data del giorno in cui è stato chiuso quel file log ed aperto il successivo.

Poi ci sono due famiglie di file

AAAAMMGG_atrieste.eu.tar.gz contiene il backup completo del sito come conservato nel mirror di SPMC. In esso il file httpdocs/Forum3/config.php è modificato per operare sul mirror. In particolare le voci $dbname, $dbuser e $dbpasswd vanno sostituite con i valori effettivi del server. Si presti attenzione alle dimensioni che sono superiori a quelle effettive e ciò a causa del fatto che nei backup incrementali non vengono cancellati i files che sono stati cancellati sul server. Inoltre la cartella statistics può essere svuotata completamente prima di un'eventuale ripristino. In caso di ripristino si consiglia di vuotare, prima del ripristino stesso, la cartella httpdocs/Forum3/cache.

backup_db_AAAAMMGG.atrieste.eu.tar.gz contiene il backup completo del database. Esso è la copia esatta del database del server, ed è diverso da quello memorizzato nel database locale prova. In quest'ultimo sono state apportate delle modifiche a tre voci nella tabella phpbb_config del database: cookie_domain va posto a 127.0.0.1/atrieste.eu, cookie_name va posto a phpbb3_8kdwh script_path va messo su /Forum3 e, se modificato, server_name va messo su atrieste.eu.

cookie_domain = 127.0.0.1
cookie_name = phpbb3_local
script path = /httpdocs/Forum3
server_name = atrieste.eu

backup_www_AAAMMGG.atrieste.eu.tar sono i file contenenti solo gli aggiornamenti.

Sul disco vengono conservate tutte le copie del mese corrente e l'ultima copia di ogni mese per i sei mesi precedenti, almeno.

Note per il ripristino del sito dal backup locale

Come già detto il database si recupera attraverso il file backup_db_AAAMMGG.atrieste.eu.tar.gz.

Per ragioni storiche (era questa la struttura del sito gestito dal sistema plesk), la copia del sito web è conservata, nel backup, nella directory httpdocs. Nel sito web remoto, attualmente gestito da cpanel, è conservata nella directory public_html. A parte questa differenza ed alcune modifiche riportate qui sotto, le due directory dovrebbero essere identiche.

Per un ripristino, quindi, dal file AAAAMMGG_atrieste.eu.tar.gz si deve recuperare la sola cartella httpdocs che va copiata nella cartella di base del sito web (con cpanel tale cartella si chiama public_html). Si devono seguire le seguenti avvertenze:

  • Nel backup il file httpdocs/Forum3/config.php è modificato per operare sul mirror. In particolare le voci $dbname, $dbuser e $dbpasswd vanno sostituite con i valori effettivi del server.
  • Non si copino le altre cartelle che ormai sono prive di significato.
  • Si presti, in generale, attenzione alle dimensioni che sono superiori a quelle effettive e ciò a causa del fatto che nei backup incrementali non vengono cancellati alcuni files che sono stati cancellati sul server.
  • La cartella httpdocs/Backup/scratch si può eliminare e nella cartella httpdocs/backup ci sono due files del tipo backup_www_AAAMMGG.atrieste.eu.tar e backup_db_AAAMMGG.atrieste.eu.tar.gz che si possono eliminare.
  • In caso di ripristino si consiglia di vuotare, prima del ripristino stesso, la cartella httpdocs/Forum3/cache e la cartella httpdocs/Wiki/data/cache por alleggerire le operazioni di ripristino.
  • Nella cartella httpdocs/Foto ci possono essere numerosi files del tipo AAAAMMGGlog.txt. Contengono le informazioni sull'attività di caricamento delle foto. Vale la pena conservarli, ma a parte i più recenti (15 giorni) gli altri possono essere archiviati a parte.

Altre considerazioni sono riportate qua.

Esecuzione del backup

Backup del database

Con la configurazione attuale del server non è agevolissimo eseguire il backup del database. Riporto qui sotto le operazioni e configurazioni. Forse alcune sono inutili, ma queste dovrebbero funzionare

  1. Aprire Cpanel ed andare a “Strumenti di backup”
  2. Andare alla voce “Backup parziale” e fare click subito sotto sul nome della base di dati.
  3. Salvare il file nella cartella atrieste.eu/httpdocs/Backup con il nome backup_db_AAAAMMGG.gz.
  4. Per creare la copia funzionante
    1. Accendere i due dischi esterni C e D.
    2. eseguire in un terminale il file backDb nella cartella atrieste.eu/httpdocs/Backup.
    3. impiega alcuni minuti ad eseguire le copie ed apportare le modifiche necessarie al mirror locale
    4. pubblica i codici MD5 del file scaricato e delle copie fatte sul disco; se i codici sono diversi, qualcosa non è andato bene; se sono uguali con grandissima probabilità le copie sui dischi esterni sono identiche al file scaricato.

Backup del sito

Dopo vari tentativi falliti soprattutto per le dimensioni del sito (4GB) SPMC ha scritto due programmi che consentono di eseguire il backup dei soli file creati o modificati dopo una certa data.

Uno è uno script php che consente di definire la data a partire dalla quale si desidera scaricare i file.

Digitando http://www.atrieste.eu/Backup/raspi.php viene mostrata la data che viene usata come riferimento per individuare i file aggiornati. Viene proposto anche un link per portare tale data ad oggi (questo link verrà usato al termine del backup). Cambiando la data viene proposto un nuovo link per verificare che la data sia stata cambiata correttamente. In alternativa è possibile impostare una data di riferimento a scelta lanciando la pagina http://www.atrieste.eu/Backup/raspi.php?d=gg-mm-aaaa dove gg mm ed aaaa sono il giorno, mese ed anno della data.

L'altro programma si chiama ciu (copy if updated). Per poterlo utilizzare è necessario installare sul proprio sistema locale il servizio curlftp (o analogo) che consente di vedere le directories del server remoto come se fossero un file system locale. L'uso del programma è

ciu <cartella_di_origine> <cartella_di_destinazione> <File_data> [-x aaaaa bbbbb ....] [-f hhhh kkkk ....]

dove

  • Cartella di origine è la cartella di cui si vuole fare il backup (di solito remota)
  • Cartella di destinazione è la cartella dove si vuole salvare il backup (di solito locale)
  • File data è il file la cui data di modifica servirà come riferimento: saranno copiati tutti i file creati o modificati a partire da quella data
  • -x opzionale, indica file o cartelle da escludere nella copiatura. Tipico uso -x cache per non copiare le cartelle cache. Ci possono essere fino a 8 nomi diversi; se ne occorressero di più è necessario ricompilare il programma cambiando prima la riga #define MAXXF 8. Il programma si trova attualmente sul computer di spmc nella cartella /home/pd/PDprog/cprg/cpafter.
  • -f opzionale, indica le cartelle il cui contenuto verrà esplorato solo se anche la data di modifica della cartella è successiva a quella di riferimento. Questa opzione consente di velocizzare moltissimo l'esplorazione del sito ai fini del backup, ma non sempre è applicabile. Ad esempio non posso applicarla su una cartella che contiene sottocartelle i cui contenuti sono stati modificati. Se con ftp vado a modificare una pagina preesistente ricopiandola sopra, la data della cartella non viene aggiornata. Se invece cancello il file esistente e poi lo ricopio, sì. Al momento l'opzione si rivela molto utile nel controllare le singole cartelle contenenti le foto. Per l'uso dell'opzione -f è pertanto necessaria una conoscenza a priori del tipo di utilizzo delle directories. E' possibile indicare fino ad 8 nomi. Per aumentare tale numero si deve ricompilare il programma modificando MAXFF (vedi punto precedente).

Il programma ricostruisce la struttura delle directories creando, però, solo le directories necessarie (al contrario di wget o tar che invece costruiscono comunque l'intero contenitore delle directories, magari vuoto). In una prova di download delle Foto, wget (con l'opzione di copiare solo i file nuovi) ha impiegato oltre due ore, ciu, senza l'opzione -f 20 minuti e ciu con l'opzione -f sulle foto 3 minuti.

Backup periodico da parte di SPMC

Con cadenza pressapoco settimanale SPMC esegue i seguenti backup dei file nuovi nelle seguenti cartelle. La copia viene fatta, di solito la mattina del sabato o della domenica.

httpdocs/Forum3/filessono i file degli allegati recenti
httpdocs/Forum3/stylessono gli stili del forum. Possono cambiare se si aggiungono immagini o anche in altre occasioni
httpdocs/Wiki/datavengono esclusi dal backup la cache e le versioni precedenti all'ultima. In locale, quindi, spmc, ha solo la versione corrente delle pagine wiki
httpdocs/PanoramiGli eventuali panorami aggiunti
httpdocs/PdfEventuali file pdf memorizzati di recente in questa directory
httpdocs/Foto|Le foto aggiunte di recente che, per ragioni di efficienza, vengono ricopiate in 5 fasi: copiatura delle foto recenti di A002 (BT), copiatura delle foto recenti di A004 (SPMC), copiatura delle foto recenti di B002 (Nona Picia), copiatura delle foto recenti di B004 (Sum Culex) e copiatura di tutti gli aggiornamenti restanti

Lo script per l'esecuzione del backup si trova sul computer raspberry nella cartella /home/pi/BackupAtrieste e si chiama faiBackup. Le cartelle create da questo script vengono poi copiate nelle omonime cartelle in /home/pd/atrieste.eu/httpdocs del computer fisso.

Su di esso il database mysql ha il nome infelice, ma rimasto per ragioni storiche, di prova. I dischi portatili esterni C1 e B1 formattati in ext4 (linux) hanno una directory Atrieste-backup con la copia compressa del database e dell'intero sito. Ulteriori informazioni si trovano qua.

Il testo dello script è riportato qui sotto:

mount /mnt/atsro
cd /mnt/atsro/httpdocs
echo Copiatura Forum/Files
/home/pi/PDprog/cpafter/ciu /mnt/atsro/httpdocs/Forum3/files /home/pi/BackupAtrieste/httpdocs/Forum3/files /mnt/atsro/httpdocs/Backup/raspi
echo Copiatura Forum/styles per eventuali modifiche
/home/pi/PDprog/cpafter/ciu /mnt/atsro/httpdocs/Forum3/styles /home/pi/BackupAtrieste/httpdocs/Forum3/styles /mnt/atsro/httpdocs/Backup/raspi
echo copiatura Wiki
/home/pi/PDprog/cpafter/ciu /mnt/atsro/httpdocs/Wiki/data /home/pi/BackupAtrieste/httpdocs/Wiki/data /mnt/atsro/httpdocs/Backup/raspi -x attic cache changes
echo copiatura panorami
/home/pi/PDprog/cpafter/ciu /mnt/atsro/httpdocs/Panorami /home/pi/BackupAtrieste/httpdocs/Panorami /mnt/atsro/httpdocs/Backup/raspi
echo copiatura pdf
/home/pi/PDprog/cpafter/ciu /mnt/atsro/httpdocs/Pdf /home/pi/BackupAtrieste/httpdocs/Pdf /mnt/atsro/httpdocs/Backup/raspi
echo copiatura foto
/home/pi/PDprog/cpafter/ciu /mnt/atsro/httpdocs/Foto /home/pi/BackupAtrieste/httpdocs/Foto /mnt/atsro/httpdocs/Backup/raspi -f A0 B0 Z0
sleep 5s
chown -R pi:pi /home/pi/BackupAtrieste
chmod 777 -R /home/pi/BackupAtrieste
sleep 5s
sudo umount /mnt/atsro
# exit
# sudo halt

Backup delle pagine Wiki

Delle pagine wiki è conservata sul backup solo l'ultima versione della pagina.


Pagina indice per i moderatori
Pagina indice delle Wiki di aTrieste.eu

Questo sito Web utilizza i cookie. Utilizzando il sito Web, l'utente accetta la memorizzazione dei cookie sul proprio computer. Inoltre riconosci di aver letto e compreso la nostra Informativa sulla privacy. Se non sei d'accordo, lascia il sito.Maggiori informazioni sui cookie
pages/macondo/mod/backup.txt · Ultima modifica: 09-03-2024 08:31 da 127.0.0.1

Ad eccezione da dove è diversamente indicato, il contenuto di questo wiki è soggetto alla seguente licenza: CC Attribution-Noncommercial-Share Alike 4.0 International
CC Attribution-Noncommercial-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki