deafrica_tools.dask#

Fonctions pour simplifier la création d’un cluster dask local.

Fonctions

create_dask_gateway_cluster([profile, workers])

Créer un cluster dans notre cluster dask interne.

create_local_dask_cluster([spare_mem, ...])

Utilisation de la fonction utilitaire datacube start_local_dask pour générer un cluster dask local.
deafrica_tools.dask.create_dask_gateway_cluster(profile='r5_L', workers=2)#

Créer un cluster dans notre cluster dask interne.

Paramètres:

  • profile (str) – Les valeurs possibles sont : - r5_L (2 cœurs, 15 Go de mémoire) - r5_XL (4 cœurs, 31 Go de mémoire) - r5_2XL (8 cœurs, 63 Go de mémoire) - r5_4XL (16 cœurs, 127 Go de mémoire)

  • workers (int) – Nombre de travailleurs (workers) dans le cluster.

deafrica_tools.dask.create_local_dask_cluster(spare_mem: str = '3Gb', display_client: bool = True, return_client: bool = False)#

Utilisation de la fonction utilitaire datacube start_local_dask pour générer un cluster dask local. Détecte automatiquement si vous êtes sur AWS ou NCI.

Paramètres:

  • spare_mem (String, optional) – La quantité de mémoire, en Go, à réserver pour le fonctionnement du notebook. Cette mémoire ne sera pas utilisée par le cluster. Par exemple : “3Gb”

  • display_client (Bool, optional) – Un booléen optionnel indiquant s’il faut afficher un résumé du client dask, incluant un lien pour suivre la progression de l’analyse. Définissez sur False pour masquer cet affichage.

  • return_client (Bool, optional) – Un booléen optionnel indiquant s’il faut renvoyer l’objet client dask.