DigitalSpirit / Blog

Nouvelle version de Fool : 0.3

Voici une nouvelle version de File tOOLkit, un outils vous permettant de faciliter vos sauvegardes sur différent support.

Il à été conçu pour traiter de très grand nombre de fichiers d'assez grosse taille, notamment les photos, j'en dispose un assez grand nombre de photos (~120Go), cette taille m'empêche d'utiliser un outils de version comme Git ou Svn, c'est pour cela que j'ai créé ce script qui me permet de faire des synchronisations sur des disques dûrs, sur des serveurs distants ou encore de détecter les doublons, vérifier l'intégrité des données avec le calcul des sommes md5, etc…

Cette version apporte le support dans un environnement Cygwin (merci à bass000) et l'ajout des Hooks qui vous permettront de déclencher des actions à des moments précis de l'exécution du script.

Pour la documentation et le téléchargement, ça se passe sur le wiki à cette adresse : /wiki/projets/fool.

Ouvrir l'article

Fool : File tOOl, un outils pour ses sauvegardes

Comme je l'annonçais dans un précédent article, voici un script bash qui permet de copier à l'aide de rsync des grosses quantités de données, de surveiller l'intégrité des données, de trouver les doublons, etc...

Fool (File tOOLkit) est un script écrit en bash sous licence GNU General Public License permettant de s'assurer de la bonne santé, de l'intégrité, de créer des sauvegardes de grosse quantité de gros fichiers.

Il à été conçu pour traiter de très grand nombre de fichiers d'assez grosse taille, notamment les photos, j'en dispose un assez grand nombre de photos (~120Go), cette taille m'empêche d'utiliser un outils de version comme Git ou Svn, c'est pour cela que j'ai créé ce script qui me permet de faire des synchronisations sur des disques dûrs, sur des serveurs distants ou encore de détecter les doublons, vérifier l'intégrité des données avec le calcul des sommes md5, etc…

Fool est un outils vous donnant les moyens de garder longtemps vos données auxquelles vous tenez à l'aide d'actions simples, le contrôle d'intégrité qui peut être lancé après une copie, la synchronisation vous permettant de multiplier les copies de vos données, etc…

Voici une liste des actions qu'il est possible d'utiliser :

  • clean : Supprime tous les fichiers ou expressions définis dans le fichier clean.conf
  • md5 : Calcule la somme md5 de tous les fichiers de l.arborescence et stocke le tout
  • duplicate : Cherche les fichiers en double à partir des sommes md5 calculées précédemment
  • checkmd5 : Vérifie la somme md5 des fichiers avec celle stockée
  • diff : Affiche les différences entre les dernières sommes calculées.
  • size : Renvoie la taille de l'arborescence de fichiers
  • batch : Exécute les actions md5, duplicate, checkmd5
  • cbatch : Exécute les actions clean, md5, duplicate, checkmd5
  • sync : Lance une commande synchronisation rsync
  • info : Renvoie des informations sur la configuration de l'application

Exemples d'utilisations

Lance la commande clean et parcours l'arborescence dans le but de faire du ménage :

$ ./fool.sh clean
Clean '/mnt/raid/media/Photos' for '.DS_Store' [ok]
Clean '/mnt/raid/media/Photos' for '._.DS_Store' [ok]
[info]  Executed in 0 second(s)
$ 

Recherche les fichiers dupliqués :

$ ./fool.sh duplicate
Search duplicate [ok]
[warn]  There are 2 different duplicate files !

194577a7e20bdcc7afbb718f502c134c ./event/2009/07 Vacances/img_908.jpg
194577a7e20bdcc7afbb718f502c134c ./export/img_908.jpg

a63ddcc7004693b03b4c5a6ddede5556 ./tmp/standby/2010/2010-08-11/_MG_6107-2.CR2
a63ddcc7004693b03b4c5a6ddede5556 ./tmp/standby/2010/2010-08-11/_MG_6107.CR2

[info]  Executed in 199 second(s)
$ 

Liste la configuration de la synchronisation :

$ ./fool.sh sync list
desktop2serv
  url :        hugo@server:~/backup/remote
  local path : event/2003
diskusb200go
  url :        /media/USBDISK/backup
  local path :
$ 

Synchronise l'arborescence vers un disque usb préalablement déclaré :

$ ./fool.sh sync to diskusb200go
Sync '/mnt/raid/media/Photos' to '/media/USBDISK/backup' ? (yes/no)
...
$ 

Retrouvez toutes les commandes et la documentation complète sur le wiki : /wiki/projets/fool

Lien relatif :

Ouvrir l'article

Sauvegarder ses photos / données

La théorie

Cet article porte essentiellement sur la sauvegarde de photos mais s'applique bien entendu à tout type de données...

Un des avantages genial de la photo numerique, c'est le support, en effet, quoi de plus simple que de transporter avec soi toute sa collection de photos amassées pendant les vacances pour les montrer a mamie à son retour ?

Cet avantage énorme est aussi une très grosse faiblesse, réunir autant d'information dans un seul support comporte des risques... Faites chuter votre disque dûr et vous perdrez alors vos splendides photos.

Voici quelques règles à ne jamais oublier pour garder ses photos longtemps :

1. Ne jamais faire confiance au support, quel qu'il soit

Que le support soit physique

Quel que soit le support, il peut trépasser du jour au lendemain :

  • Qu'il soit informatique, votre disque dûr peut lâcher du jour au lendemain sans raison apparente et surtout sans prévenir, vous pouvez le faire tomber. Un CD, un DVD vieillit, rien ne garantie que vous pourrez lire vos données dans quelques années.
  • S'il est au format papier, les UV en viendront à bout au fûr et à mesure des années qui passent.

Ou quel le support soit logiciel

Êtes-vous sûr d'utiliser un format de fichiers qui garantisse la pérennité de vos données ? C'est bien beau de sauvegarder vos fichiers mais si vous êtes incapable de les lire dans quelques années car le format de votre partition n'est plus supporté, vous ne pourrez en faire grand chose...

Ne sourriez pas, avec les brevets logiciels, il est tout à fait probable que vous ne puissiez plus lire vos données sur votre partition NTFS depuis votre Linux, légalement, ce serait tout à fait possible.

Utilisez donc des formats ouverts.

2. Toujours faire des sauvegardes multiples

Le premier point à du vous mettre la puce à l'oreille, il faut augmenter ses chances de garder ses données en multipliant les supports pour prévenir un accident physique qui arrivera forcément un jour ou l'autre, la question est, votre support va vous lâcher tout à l'heure ou dans 10 ans ?.
Pensez donc à copier vos données auxquelles vous tenez sur différents supports.

Limitez les risques informatiques : La capacité des disques augmentant sans arrêt, on trouve maintenant des disques externes à 2To sur lesquel il est possible de stocker un nombre phénoménal de photos (plusieurs centaines de milliers de photos), bref, le contenu de plusieurs années de clichés, imaginez une seul seconde perdre tout cela d'un seul coup...
Voilà d'ailleurs une des choses qui me pousse à préférer 2 disques de 500Go que 1 seul de 1To, si vous avez le budget, pourquoi ne pas carrément envisager 2 disques de 1To...

3. Dégéolocaliser les sauvegardes

Maintenant que nous pensons à faire des sauvegardes multiples, il faut aussi penser à les mettre à l'abri, qu'arrivera-t-il en cas d'incendie, de vol, si les sauvegardes se trouvent toute chez vous au même endroit...

En pratique, pour les plus geeks d'entre nous, une sauvegarde distante avec le couple ssh / rsync sur un serveur fiable et sécurisé est un bon moyen de mettre ses données à l'abri mais on peut faire beaucoup plus simple, à moins d'être totalement narcicique, on est rarement seul sur les photos, pourquoi ne pas voyager avec son disque dûr chez ses amis et leur faire une copie des photos sur lesquelles ils sont, ils seront heureux de les voir, vous le serez d'avoir fait une copie de sauvegarde de plus, c'est simple et efficace, en échange, récupérez leurs photos, ainsi, tout le monde est à l'abri...

Vous pouvez aussi utiliser des services de sauvegarde de contenu en ligne comme Dropbox mais vous risquez d'être confronté à d'autre problèmes :

  • Le service est payant et plutôt chèr rapporté Giga
  • Vous donnez vos données à une société privé, que se passe-t-il si celle-ci se fait pirater, si elle décide d'augmenter ses prix démesuremment ou encore si la société ferme subitement...

Si vous utilisez ces services en ligne, évitez d'en faire un sauvegarde principale et cryptez avec un système fiable toutes vos données confidentielles.

Olivier Meunier, lui, sauvegarde ses données dans sa boite aux lettres.

4. S'assurer de l'intégrité des données a chaque copie, ne pas oublier le premier point

C'est bien beau de dupliquer ces données partout mais qui vous dit que les données sont correctement copiées ? Si une erreur logicielle à lieu durant la copie, vous serez sûrement averti mais si c'est une erreur physique, rien ne dit que vous le serez aussi.

La pratique

Supports physique

  • CD, DVD : préférez graver à une vitesse moindre pour vous assurer que les données sont parfaitement bien écrites et pérennes
  • Disque dûr : Surveillez vos disques avec des outils comme S.M.A.R.T (Self-Monitoring, Analysis, and Reporting Technology) qui permet de détecter des défaillances de ces derniers et ainsi anticiper vos sauvegardes
  • Investissez dans des prises parafoudres / onduleurs, ça vous évitera de mauvaises surprises

Support logiciel

  • Utilisez un système de fichiers libre ou garantissant un bon support (ext4 par exemple), évitez NTFS
  • Pensez aux formats de fichiers libres, pourquoi ne pas envisager de convertir vos clichés Raw en DNG

Trop tard

Malheuresement, des fois, la bataille se perd et les données avec ou presque, je vous invite dans ce cas à tester l'un de ces 2 excellents logiciels qui en ont sauvés plus d'un :

  • Testdisk est un logiciel performant de récupération de données! Il a été conçu à l'origine pour aider à la récupération des partitions perdues, la réparation des tables des partitions corrompues quand ces symptômes ont été causés par des logiciels défectueux, certains types de virus ou des erreurs humaines telles que l'effacement accidentel de la Table des Partitions. »
  • Photorec est un programme de récupération de données conçu pour récupérer des images perdues provenant de carte mémoire d'appareil photo ... Il peut aussi récupérer de nombreux fichiers perdus, tels que de la video, des documents et des archives stockés sur un disque dur ou sur un CD-ROM.

Quoiqu'il arrive, ne tentez pas n'importe quoi avec votre disque, vous pourriez compromettre une possible restauration...

Conclusion

Avec un peu de bon sens et un peu de pratique, vous serez bon pour emmener vos photos / données avec vous pour des années...

Dans un prochain article, je présenterai un script qui permet d'automatiser la sauvegarde sur plusieurs supports.

Liens

Le 24/11/2010 : Ajout des liens des articles de Lense

Ouvrir l'article