South Green Logo

South Green Trainings pages

Description Exercices pour utiliser un cluster de calcul
Supports de cours liés HPC
Auteur Ndomassi TANDO (ndomassi.tando@ird.fr)
Date de création 04/10/2019
Date de modification 06/10/2019

Summary


Preambule

Se connecter à un serveur Linux en utilisant SSH
Platforme Logiciel Description url
mobaXterm un terminal évolué pour Windows avec un serveur X11 et un client SSH intégrés more
putty Putty permet de se connecter à un serveur Linux depuis une machine Windows . Download
Transférer des fichiers depuis votre ordinateur vers des serveurs Linux et inversement avec SFTP (SSH File Transfer Protocol)
Platforme Logiciel Description url
filezilla FTP and SFTP client Download
Editer des fichiers sur une machine windows ou directement sur un serveur Linux
Type Software url
Distant, consol mode nano Tutorial
Distant, consol mode vi Tutorial
Distant, graphic mode komodo edit Download
Linux & windows based editor Notepad++ Download

Exercice 1: Se connecter à un serveur Linux avec ssh

Avec mobaXterm:

  1. Cliquer sur le bouton session puis cliquer SSH.
    • Dans le champ remote host , taper: 192.168.4.102
    • Cocher la case specify username et écrire le compte formationX
  2. Dans le champ, entrer le mot de passe formationX quand il est demandé. 3 taper la commande suivante:
ssh master
  1. Taper la commande sinfo et commenter le resultat
  2. Taper la commande scontrol shown nodes et commenter le resultat

Exercice 2: Reserver un coeur sur le noeud de calcul et créer son répertoire de travail

  1. Taper la commande squeue et commenter le résultat
  2. Taper la commande
srun --time=60:00 -p short --pty bash -i

puis

squeue

une nouvelle fois

  1. Taper la commande squeue -u et commenter le résultats
  2. Créer votre répertoire de travail dans /tmp du noeud:
cd /tmp
 mkdir formationX

Exercice 3: Transférer des fichiers avec Filezilla sftp

Télécharger et installer filezilla
Ouvrir FileZilla et sauvegarder la connexion au cluster dans le site manager

Dans le menu de FileZilla, aller dans Fichier > Gestionnaire de Site. puis effectuer ces 5 étapes:

  1. Cliquer Nouveau Site.
  2. Ajouter un nom pour ce site.
  3. Ajouter le hostname 192.168.4.102 pour avoir accès au répertoire /opt/HPC
  4. Mettre le Type d’authentification à “Normal” et rentrer vos logins: formationX et mot de passe formationX
  5. Presser le bouton “Connexion”
Transférer le fichier

1.Depuis votre ordinateur vers le cluster : cliquer et déposer le fichier depuis la colonne de gauche vers la colonne de droite

  1. Du cluster vers votre ordinateur : cliquer et déposer le fichier depuis la colonne de droite vers la colonne de gauche
  2. Récupérer le fichier HPC_ouaga_oct2019.pdf situé dans le répertoire /opt/HPC

Exercice 4: Transférer des fichiers au noeud de calcul avec scp

  1. En utilisant scp, transférer le répertoire tp-cluster situé dans /opt dans votre répertoire de travail

  2. Vérifier que le transfert s’est bien déroulé avec la commande ls.


Exercice 5: Utiliser Module Environment pour charger ses outils

  1. Charger le module blast+ vers 2.7.1
  2. Vérifier que le module soit chargé.

Exercice 6: Lancer ses analyses

Aller dans le répertoire Blast et taper la commande suivante:

$ blastn -db All-EST-coffea.fasta -query sequence-NMT.fasta -out blastn.out

Bonus:

Aller dans le répertoire /tmp/formationX/BWA

Charger le module bwa v 0.7.17

Puis lancer les commandes suivantes:

 bwa index Reference.fasta
bwa mem reference.fasta RC1_1_CUTADAPT_forwardRepaired.fastq RC1_2_CUTADAPT_reverseRepaired.fastq > mapping.sam

Exercice 7: Transférer ses résultats vers son /home avec scp

  1. En utilisant scp, transférer vos résultatx depuis votre /tmp/formationX vers votre /home/formationX
  2. Vérifier que le transfert est OK avec la commande ls

Exercice 8: Supprimer vos répertoires de données d’analyse

 cd /tmp
rm -r formationX
exit

Exercice 9: Lancer un job en mode batch

S’inspirer du script suivant pour lancer une analyse blast :

Exemple de script slurm:

#!/bin/bash
## On définit le nom du job
#SBATCH --job-name=test
## On définit le nom du fichier de sortie
#SBATCH --output=res.txt
## On définit le nombre de tâches
#SBATCH --ntasks=1
## On définit le temps limit d'éxécution
#SBATCH --time=10:00
## On définit 100Mo de mémoire par cpu
#SBATCH --mem-per-cpu=100
sleep 180 #on lance un sleep de 3 minutes

Taper toutes les commandes utilisées au cours du tp.

Le script généré permettra de les lancer de manière automatique.

Une analyse sera lancée ensuite grâce à la commande:

sbatch script.sh

Avec script.sh le nom du script à utiliser


Liens


License

The resource material is licensed under the Creative Commons Attribution 4.0 International License (here).