Jeu Poster le plus tôt possible - The real one ! ( The Folco One ) - Page 170

melbou > tu peux migrer tes résultats sur la machine fichier de ton centre de calcul de temps en temps, non ?

Ouais, faut juste penser à le faire avant de tout effacer

Et une petite ligne dans ton script de soumission ? Au pire si le résultat n'est pas intéressant tu l'effaces. Et pour le coup s'il a passé la nuit sur la machine fichiers, il aura peut-être été sauvegardé.
Rhalala ces utilisateurs de centres de calculs, jamais contents

Ouais c'est pas con. Je fais aussi moi-même des backup sur un disque externe régulièrement (parano courante au labo depuis qu'un collègue a perdu 3 ans de calculs ). Il reste un petit souci lié à une limite très basse du nombre de fichiers max sur le serveur de fichiers (/data), qui oblige à faire un gros tar, pas pratique.
Et je suis content rassure toi, dans l'immense majorité des cas, les boulettes et les emmerdes sont 100% ma faute. On nous met à disposition des outils performants "gratos" (financés par l'argent public quoi), on va pas non plus cracher dans la soupe. Ma boulette nous aura coûté 7000 heures CPU, c'est pas rien, mais bon dans l'ensemble le projet en nécessite 100 fois plus rien que pour cette année, donc on va dire que ça passera dans les 10% de débugage

Perdre 3 ans de calculs...
Un autre avantage de faire un TAR c'est que ton fichier démigré plus rapidement que si tu avais à récupérer un à un les fichiers constituants ton résultats de calcul. Ceci bien sûr dans l'hypothèse où la machine fichier fait du stockage sur cassettes.
Bon, comme tu l'as dit, 7000h CPU c'est pas la mort. Surtout si tu en as 700.000 pour le projet. C'est des Xeon, Power ou PowerPC?
Dans le temps d'attribution on compte souvent les plantages et le temps de développement/tests pour les futurs projets. S'il y a besoin d'une rallonge il y a toujours possibilité de faire une demande en général au directeur du centre.

Ouais niveau heures c'est généralement assez généreux, on arrive à avoir ce qu'on demande si le dossier est bien monté. Nous on estime assez bien nos besoins car le code est connu et n'évolue plus trop, et on rajoute 10% parce que il arrive toujours des imprévus. Pour le tar, je pense que la sauvegarde sur cassettes est une des raisons à la limite du nombre de fichiers, sans doute que ça serait la galère pour les temps d'accès sinon.
La machine c'est Jade, donc des Xeon.

Les ressources en questions sont locales ou publiques ? (machines de l'université ou cluster public genre boinc ?)

C'est un centre de calcul national, à Montpellier. Je crois qu'il est entièrement financé par l'argent public, ce qui explique que les heures de calcul soient réservées à la recherche (ça a posé soucis à un partenaire privé qui avait besoin d'un tout petit millier d'heures pour débugguer sa partie du code, leur demande avait été refusée).

Pour les partenariats Public / Privé il y a GENCI qui s'en charge. De toute manière le CINES est chapeauté par GENCI.

Il me semble que la migration sur cassettes n'est faite que pour des fichiers dépassant une taille critique. Les petits fichiers ne sont pas sauvegardés (il faudrait lire la doc en détail). Bon, ça doit aussi dépendre des centres de calcul.

Il me semblait que tout est sauvegardé, l'enregistrement sur bandes concernant uniquement les fichiers non utilisés.

D'après la doc sur le web ça a l'air d'être ça, il n'y a pas de restriction. Bonjour l'explosion du quota d'inodes...

inode=?

L’identifiant de chaque fichier, en gros.

http://fr.wikipedia.org/wiki/Inode

les trucs référencés par les file descriptors.

autrement dit quota d'inodes = nombre maximal de fichiers

merci les gars

Y'a une limite à 50,000 fichiers, ce qui est très peu

50 fichiers ? c'est pas beaucoup en effet

Bonjour !

bonjour fletsh !

Bonjour tout le monde !

chapwet!

bonjour chapwet!

chapjour bonpwet!

Bonjour !

Il fait tôt, ce matin, dis donc

ça ne dépend que de toi, d'un certain point de vue