Skip to content

LFO-lab/AllianceCAN

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 

Repository files navigation

🚀 Accès et Ressources


📊 Optimisation des ressources


🖥️ Clusters et Configuration

  • Chaque nœud : Linux | 64 cœurs max | 4 To RAM max | 1-28 jours | 8 GPU max
  • Remplacements :
    • Rorqual → Remplace Béluga
    • Narval → Reste actif
    • Nibi → Remplace Graham
    • Fir → Remplace Cedar
  • Choisir un cluster proche (ex: Narval à l’ETS)
  • Consulter la doc pour connaître le matériel disponible

🔑 Connexion

  1. Connexion SSH

    ssh user@server.alliancecan.ca

    Exemple :

    ssh myname@narval.alliancecan.ca
  2. Double authentification (obligatoire)


📂 Transfert et Stockage

  1. Transfert de fichiers

    • SCP :
      scp [source] [destination]
      Exemple :
      scp file1.dat username@grappe:dir1/
    • Gros fichiers : Utiliser Globus
  2. Stockage (max 40 To toutes grappes confondues)

    • Home (50 Go, 500k fichiers) : Code/scripts
    • Scratch (20 To, 1M fichiers) : Temporaire (effacé après 2 mois)
    • Project (1 To, 500k fichiers) : Données volumineuses/partagées
    • Nearline (1 To, 5000 fichiers) : Archives
    • $SLURM_TMPDIR (960 Go) : Stockage rapide (effacé après calcul)
  3. Vérifier l’espace disque

    diskusage_report

🛠️ Installation de logiciels

  1. Modules disponibles

    • Rechercher un module
      module spider [mot_clé]
    • Vérifier la disponibilité
      module avail [module]
    • Charger un module
      module load [module]
    • Décharger un module
      module unload [module]
    • Lister les modules chargés
      module list
    • Réinitialiser l’environnement
      module purge

    📌 Liste complète : Modules disponibles

  2. Python & Wheels

    • Environnement 2023 → Python 3.10 - 3.13
    • Lister les wheels :
      avail_wheels
      avail_wheels *torch*

    📌 Détails : Python Wheels

    🚨 Ne pas utiliser Conda sur une grappe → Utiliser pip install

  3. Exemple : Environnement Python

    module load python/3.8
    virtualenv env --no-download
    source env/bin/activate
    pip install --no-index seaborn==0.13
    deactivate

    Répliquer un environnement :

    pip freeze > requirements.txt
    pip install -r requirements.txt

🏗️ Exécution de tâches

📌 Toutes les tâches doivent être soumises via l’ordonnanceur (PAS sur les nœuds de connexion)

  1. Exemple de script SLURM (script.sh)

    #!/bin/bash
    #SBATCH --account=def-sponsor00
    #SBATCH --nodes=1
    #SBATCH --cpus-per-task=1
    #SBATCH --mem-per-cpu=256M
    #SBATCH --time=0:01:00
    
    module load python/3.12
    python --version
  2. Soumettre une tâche

    sbatch script.sh
  3. Voir l’état des tâches

    squeue -u $USER
  4. Annuler une tâche

    scancel <jobid>
  5. Statistiques d’une tâche terminée

    seff <jobid>

💡 Exemple d’exécution complète

sbatch script.sh
seff <jobid>

❗ En cas de problème

🔍 Vérifier les fichiers de sortie
🔍 Consulter le Wiki 🔍 Contacter le support : 📧 support@tech.alliancecan.ca


About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published