Introduction aux produits et aux mesures
Produits utilisés : ls8_sr
Prérequis : Les utilisateurs de ce bloc-notes doivent avoir une compréhension de base de :
Comment exécuter un Jupyter notebook
Mots-clés guide du débutant; produits, guide du débutant; mesures, produits; guide du débutant, mesures; guide du débutant, données utilisées; landsat 8
Aperçu
Un « datacube » est une architecture d’information numérique spécialisée dans l’hébergement et le catalogage d’informations spatiales. Digital Earth Africa (DE Africa) est basé sur l’infrastructure Open Data Cube et est spécialisé dans le stockage de données de télédétection, notamment celles provenant de satellites d’observation de la Terre tels que Landsat et Sentinel.
Le datacube Digital Earth Africa contient à la fois des données satellite brutes et des « produits » de données dérivées. Ces produits de données sont souvent composés d’une gamme de « mesures » telles que la suite de valeurs de bande de télédétection ou des résumés de produits statistiques. Avant d’exécuter une requête pour charger des données à partir du datacube, il est utile de savoir ce qu’il contient. Ce bloc-notes présente plusieurs méthodes simples pour inspecter le contenu des produits et des mesures d’un datacube.
Description
Ce bloc-notes montre comment se connecter au cube de données Digital Earth Africa et interroger les produits et mesures disponibles qui y sont stockés. Les sujets abordés comprennent :
Comment se connecter à un datacube
Comment lister tous les produits
Comment lister les mesures d’un produit sélectionné
Comment visualiser de manière interactive les données dans le datacube
Commencer
Pour exécuter cette introduction aux produits et aux mesures, exécutez toutes les cellules du bloc-notes en commençant par la cellule « Charger les packages ». Pour obtenir de l’aide sur l’exécution des cellules du bloc-notes, reportez-vous au bloc-notes Jupyter Notebooks.
Charger des paquets
Le package « datacube » est nécessaire pour accéder aux données disponibles et travailler avec elles. Le package « pandas » est nécessaire pour formater les tables. L’utilitaire « DcViewer » nous permettra d’explorer de manière interactive les produits disponibles dans le datacube.
[1]:
import datacube
import pandas as pd
from odc.ui import DcViewer
# Set some configurations for displaying tables nicely
pd.set_option('display.max_colwidth', 200)
pd.set_option('display.max_rows', None)
Se connecter au datacube
Après avoir importé le package « datacube », les utilisateurs doivent spécifier un nom pour leur session, appelé nom de l’application.
Ce nom est généré par l’utilisateur et est utilisé pour détecter les problèmes liés aux requêtes de base de données. Il n’a aucun effet sur l’analyse. Utilisez un nom court qui soit cohérent avec l’objectif de votre bloc-notes, comme la façon dont « 02_Products_and_measurements » a été utilisé comme nom d’application dans ce bloc-notes.
L’objet « dc » résultant est ce que nous utilisons pour accéder à toutes les données contenues dans le cube de données Digital Earth Africa.
[2]:
dc = datacube.Datacube(app="02_Products_and_measurements")
Liste des produits
Une fois qu’une instance de datacube a été créée, les utilisateurs peuvent explorer les produits et les mesures qui y sont stockés.
La cellule suivante répertorie tous les attributs de produit actuellement disponibles dans le cube de données Digital Earth Africa en utilisant la fonction « dc.list_products().columns ».
[3]:
dc.list_products().columns
[3]:
Index(['name', 'description', 'license', 'default_crs', 'default_resolution'], dtype='object')
Chacun d’entre eux peut être utilisé pour personnaliser les informations sur le produit renvoyées par la fonction « dc.list_products() », comme indiqué dans la cellule suivante.
De plus, la cellule suivante répertorie tous les produits actuellement disponibles dans le cube de données Digital Earth Africa en utilisant la fonction « dc.list_products() ».
Les produits répertoriés sous nom dans le tableau suivant représentent les options de produit disponibles lors de l’interrogation du datacube. Le tableau ci-dessous fournit des informations utiles sur chaque produit, notamment une brève description du produit, l”instrument et la plate-forme d’où proviennent les données (par exemple, Landsat 8 OLI), ainsi que le crs (système de référence de coordonnées) et la résolution par défaut du produit, le cas échéant.
[4]:
products = dc.list_products()
display_columns = ["name",
"description",
"default_crs",
"default_resolution"]
products[display_columns].sort_index()
[4]:
| name | description | default_crs | default_resolution | |
|---|---|---|---|---|
| name | ||||
| alos_palsar_mosaic | alos_palsar_mosaic | ALOS/PALSAR and ALOS-2/PALSAR-2 annual mosaic tiles generated for use in the Data Cube - 25m pixel spacing, WGS84. These tiles are derived from the orignal JAXA mosaics with conversion to GeoTIFF. | None | None |
| cci_landcover | cci_landcover | ESA Climate Change Initiative Land Cover | None | None |
| cgls_landcover | cgls_landcover | Copernicus Global Land Service, Land Use/Land Cover at 100 m | None | None |
| crop_mask | crop_mask | Annual cropland extent map produced by Digital Earth Africa. | None | None |
| crop_mask_central | crop_mask_central | Annual cropland extent map for Central Africa produced by Digital Earth Africa. | None | None |
| crop_mask_eastern | crop_mask_eastern | Annual cropland extent map for Eastern Africa produced by Digital Earth Africa. | None | None |
| crop_mask_indian_ocean | crop_mask_indian_ocean | Annual cropland extent map for Indian Ocean Africa produced by Digital Earth Africa. | None | None |
| crop_mask_northern | crop_mask_northern | Annual cropland extent map for Northern Africa produced by Digital Earth Africa. | None | None |
| crop_mask_sahel | crop_mask_sahel | Annual cropland extent map for Sahel Africa produced by Digital Earth Africa. | None | None |
| crop_mask_southeast | crop_mask_southeast | Annual cropland extent map for Southeast Africa produced by Digital Earth Africa. | None | None |
| crop_mask_southern | crop_mask_southern | Annual cropland extent map for Southern Africa produced by Digital Earth Africa. | None | None |
| crop_mask_western | crop_mask_western | Annual cropland extent map for Western Africa produced by Digital Earth Africa. | None | None |
| dem_cop_30 | dem_cop_30 | Copernicus DEM 30 m | None | None |
| dem_cop_90 | dem_cop_90 | Copernicus DEM 90 m | None | None |
| dem_srtm | dem_srtm | 1 second elevation model | None | None |
| dem_srtm_deriv | dem_srtm_deriv | 1 second elevation model derivatives | None | None |
| esa_worldcover | esa_worldcover | ESA World Cover, global 10 m land use/land cover data from 2020. | None | None |
| esa_worldcover_2020 | esa_worldcover_2020 | ESA World Cover, global 10 m land use/land cover data from 2020. | None | None |
| esa_worldcover_2021 | esa_worldcover_2021 | ESA World Cover, global 10 m land use/land cover data from 2021. | None | None |
| fc_ls | fc_ls | Landsat Fractional Cover Observations from Space | None | None |
| fc_ls_summary_annual | fc_ls_summary_annual | DE Africa Landsat Fractional Cover Percentiles | None | None |
| gm_ls5_ls7_annual | gm_ls5_ls7_annual | Surface Reflectance Annual Geometric Median and Median Absolute Deviations, Landsat 5 and Landsat 7 | None | None |
| gm_ls5_ls7_annual_lowres | gm_ls5_ls7_annual_lowres | Surface Reflectance Annual Geometric Median and Median Absolute Deviations, Landsat 5 and Landsat 7. Low resolution version used for visualisations. | None | None |
| gm_ls8_annual | gm_ls8_annual | Surface Reflectance Annual Geometric Median and Median Absolute Deviations, Landsat 8 | None | None |
| gm_ls8_annual_lowres | gm_ls8_annual_lowres | Surface Reflectance Annual Geometric Median and Median Absolute Deviations, Landsat 8. Low resolution version used for visualisations. | None | None |
| gm_ls8_ls9_annual | gm_ls8_ls9_annual | Surface Reflectance Annual Geometric Median and Median Absolute Deviations, Landsat 8 and Landsat 9 | None | None |
| gm_ls8_ls9_annual_lowres | gm_ls8_ls9_annual_lowres | Surface Reflectance Annual Geometric Median and Median Absolute Deviations, Landsat 8 and Landsat 9. Low resolution version used for visualisations. | None | None |
| gm_s2_annual | gm_s2_annual | Surface Reflectance Annual Geometric Median and Median Absolute Deviations, Sentinel-2 | None | None |
| gm_s2_annual_lowres | gm_s2_annual_lowres | Annual Geometric Median, Sentinel-2 - Low Resolution mosaic | None | None |
| gm_s2_rolling | gm_s2_rolling | Surface Reflectance 3 Monthly Rolling Geometric Median and Median Absolute Deviations, Sentinel-2 | None | None |
| gm_s2_semiannual | gm_s2_semiannual | Surface Reflectance Semiannual Geometric Median and Median Absolute Deviations, Sentinel-2 | None | None |
| gm_s2_semiannual_lowres | gm_s2_semiannual_lowres | Surface Reflectance Semiannual Geometric Median and Median Absolute Deviations, Sentinel-2. Low resolution version used for visualisations. | None | None |
| gmw | gmw | Global Mangrove Watch data sourced from the UN Environment Program at https://data.unep-wcmc.org/datasets/45 | None | None |
| io_lulc | io_lulc | Impact Observatory (ESRI) Landcover Classification 9 Class | None | None |
| isda_soil_bedrock_depth | isda_soil_bedrock_depth | Soil bedrock depth predictions made by iSDA Africa | None | None |
| isda_soil_bulk_density | isda_soil_bulk_density | Soil bulk density predictions made by iSDA Africa | None | None |
| isda_soil_carbon_total | isda_soil_carbon_total | Soil total carbon predictions made by iSDA Africa | None | None |
| isda_soil_clay_content | isda_soil_clay_content | Soil clay content predictions made by iSDA Africa | None | None |
| isda_soil_sand_content | isda_soil_sand_content | Soil sand content predictions made by iSDA Africa | None | None |
| isda_soil_silt_content | isda_soil_silt_content | Soil silt content predictions made by iSDA Africa | None | None |
| jers_sar_mosaic | jers_sar_mosaic | JERS-1 SAR annual mosaic tiles generated for use in the Data Cube 25m pixel spacing, WGS84. These tiles are derived from the orignal JAXA mosaics with conversion to GeoTIFF. | None | None |
| landsat_c2l2_ar | landsat_c2l2_ar | USGS Landsat Collection 2 Level-2 Provisional Aquatic Reflectance | None | None |
| ls5_sr | ls5_sr | USGS Landsat 5 Collection 2 Level-2 Surface Reflectance | None | None |
| ls5_st | ls5_st | USGS Landsat 5 Collection 2 Level-2 Surface Temperature | None | None |
| ls7_sr | ls7_sr | USGS Landsat 7 Collection 2 Level-2 Surface Reflectance | None | None |
| ls7_st | ls7_st | USGS Landsat 7 Collection 2 Level-2 Surface Temperature | None | None |
| ls8_sr | ls8_sr | USGS Landsat 8 Collection 2 Level-2 Surface Reflectance | None | None |
| ls8_st | ls8_st | USGS Landsat 8 Collection 2 Level-2 Surface Temperature | None | None |
| ls9_sr | ls9_sr | USGS Landsat 9 Collection 2 Level-2 Surface Reflectance | None | None |
| ls9_st | ls9_st | USGS Landsat 9 Collection 2 Level-2 Surface Temperature | None | None |
| nasadem | nasadem | NASADEM from Microsoft's Planetary Computer | None | None |
| ndvi_anomaly | ndvi_anomaly | Monthly NDVI Anomalies produced by Digital Earth Africa. | None | None |
| ndvi_climatology_ls | ndvi_climatology_ls | Monthly NDVI Climatologies produced by Digital Earth Africa. | None | None |
| pc_s2_annual | pc_s2_annual | Surface Reflectance Annual Clear Pixel Count, Sentinel-2 | None | None |
| rainfall_chirps_daily | rainfall_chirps_daily | Rainfall Estimates from Rain Gauge and Satellite Observations | None | None |
| rainfall_chirps_monthly | rainfall_chirps_monthly | Rainfall Estimates from Rain Gauge and Satellite Observations | None | None |
| s1_rtc | s1_rtc | Sentinel 1 Gamma0 normalised radar backscatter | None | None |
| s2_l2a | s2_l2a | Sentinel-2a and Sentinel-2b imagery, processed to Level 2A (Surface Reflectance) and converted to Cloud Optimized GeoTIFFs | None | None |
| wofs_ls | wofs_ls | Historic Flood Mapping Water Observations from Space | None | None |
| wofs_ls_summary_alltime | wofs_ls_summary_alltime | Water Observations from Space Alltime Statistics | None | None |
| wofs_ls_summary_annual | wofs_ls_summary_annual | Water Observations from Space Annual Statistics | None | None |
| wsf_2015 | wsf_2015 | The World Settlement Footprint WSF 2015 version 2 (WSF2015 v2) is a 10m resolution binary maskoutlining the extent of human settlements globally for the year 2015 based on multiple datasets. | None | None |
| wsf_2019 | wsf_2019 | The World Settlement Footprint (WSF) 2019 is a 10m resolution binary mask outlining the extent of human settlements globally derived by means of 2019 multitemporal Sentinel-1 (S1) and Sentinel-2 (... | None | None |
| wsf_evolution | wsf_evolution | The World Settlement Footprint (WSF) Evolution is a 30m resolution dataset derived from Landsat-5/7 outlining the global settlement extent on a yearly basis from 1985 to 2015. | None | None |
Liste des mesures
La plupart des produits sont associés à une gamme de mesures disponibles. Il peut s’agir de bandes de satellites individuelles (par exemple, la bande proche infrarouge de Landsat) ou de résumés de produits statistiques.
En utilisant la colonne name des produits répertoriés ci-dessus, interrogeons les mesures associées au produit « ls8_usgs_sr_scene » à l’aide de la fonction « dc.list_measurements() ». Ce nom de produit fait référence au produit de données prêt à l’analyse Landsat 8 de l’US Geological Survey.
Le tableau ci-dessous inclut une gamme d’informations techniques sur chaque bande de l’ensemble de données, y compris tous les alias qui peuvent être utilisés pour charger les données, le type de données ou dtype, toutes les flags_definition associées à la mesure (ces informations sont utilisées pour des tâches telles que le masquage des nuages) et la valeur nodata de la mesure.
Modifiez le nom du « produit » ci-dessous et réexécutez la cellule suivante pour explorer les mesures disponibles associées à d’autres produits.
[5]:
product = "ls8_sr"
measurements = dc.list_measurements()
measurements.loc[product]
[5]:
| name | dtype | units | nodata | aliases | flags_definition | |
|---|---|---|---|---|---|---|
| measurement | ||||||
| SR_B1 | SR_B1 | uint16 | 1 | 0.0 | [band_1, coastal_aerosol] | NaN |
| SR_B2 | SR_B2 | uint16 | 1 | 0.0 | [band_2, blue] | NaN |
| SR_B3 | SR_B3 | uint16 | 1 | 0.0 | [band_3, green] | NaN |
| SR_B4 | SR_B4 | uint16 | 1 | 0.0 | [band_4, red] | NaN |
| SR_B5 | SR_B5 | uint16 | 1 | 0.0 | [band_5, nir] | NaN |
| SR_B6 | SR_B6 | uint16 | 1 | 0.0 | [band_6, swir_1] | NaN |
| SR_B7 | SR_B7 | uint16 | 1 | 0.0 | [band_7, swir_2] | NaN |
| QA_PIXEL | QA_PIXEL | uint16 | bit_index | 1.0 | [pq, pixel_quality] | {'snow': {'bits': 5, 'values': {'0': 'not_high_confidence', '1': 'high_confidence'}}, 'clear': {'bits': 6, 'values': {'0': False, '1': True}}, 'cloud': {'bits': 3, 'values': {'0': 'not_high_confid... |
| QA_RADSAT | QA_RADSAT | uint16 | bit_index | 0.0 | [radsat, radiometric_saturation] | {'nir_saturation': {'bits': 4, 'values': {'0': False, '1': True}}, 'red_saturation': {'bits': 3, 'values': {'0': False, '1': True}}, 'blue_saturation': {'bits': 1, 'values': {'0': False, '1': True... |
| SR_QA_AEROSOL | SR_QA_AEROSOL | uint8 | bit_index | 1.0 | [qa_aerosol, aerosol_qa] | {'water': {'bits': 2, 'values': {'0': False, '1': True}}, 'nodata': {'bits': 0, 'values': {'0': False, '1': True}}, 'aerosol_level': {'bits': [6, 7], 'values': {'0': 'climatology', '1': 'low', '2'... |
Visualisation des données disponibles
Pour une exploration plus visuelle des données disponibles dans le cube de données Digital Earth Africa, nous pouvons utiliser l’utilitaire interactif « DcViewer » ou le site Web en ligne « DE Africa Explorer <https://explorer.digitalearth.africa/products/ls8_sr> ». Nous utiliserons l’utilitaire « DcViewer » dans cet exercice. Sélectionnez un produit dans le menu déroulant en haut à gauche de la carte pour afficher les zones pour lesquelles les données sont disponibles en bleu. Vous pouvez également utiliser les boutons Précédent et Suivant au-dessus de la carte pour basculer dans le temps.
L’utilitaire ne peut visualiser qu’un nombre limité de jeux de données à la fois. Si les empreintes de données disponibles n’apparaissent pas, appuyez sur le bouton « Afficher » en haut à droite ou effectuez un zoom avant sur la carte.
[6]:
DcViewer(dc=dc,
time='2017',
center=(0.565, 38.007),
zoom=6)
[6]:
Étapes suivantes recommandées
Pour des informations plus avancées sur l’utilisation de Jupyter Notebooks ou JupyterLab, vous pouvez explorer la page de documentation de JupyterLab.
Pour continuer à travailler sur les cahiers de ce guide du débutant, les cahiers suivants sont conçus pour être travaillés dans l’ordre suivant :
Produits et mesures (ce carnet)
Une fois que vous avez terminé les six didacticiels ci-dessus, rejoignez les utilisateurs avancés pour explorer :
Le répertoire « Datasets » du référentiel, où vous pouvez explorer en profondeur les produits DE Africa.
Le répertoire « Code fréquemment utilisé », qui contient un livre de recettes de techniques et méthodes courantes pour l’analyse des données DE Africa.
Le répertoire « Exemples du monde réel », qui fournit des flux de travail plus complexes et des études de cas d’analyse.
Informations Complémentaires
Licence : Le code de ce carnet est sous licence Apache, version 2.0 <https://www.apache.org/licenses/LICENSE-2.0>. Les données de Digital Earth Africa sont sous licence Creative Commons par attribution 4.0 <https://creativecommons.org/licenses/by/4.0/>.
Contact : Si vous avez besoin d’aide, veuillez poster une question sur le canal Slack Open Data Cube <http://slack.opendatacube.org/>`__ ou sur le GIS Stack Exchange en utilisant la balise open-data-cube (vous pouvez consulter les questions posées précédemment ici). Si vous souhaitez signaler un problème avec ce bloc-notes, vous pouvez en déposer un sur Github.
Version de Datacube compatible :
[7]:
print(datacube.__version__)
1.8.15
Dernier test :
[8]:
from datetime import datetime
datetime.today().strftime('%Y-%m-%d')
[8]:
'2023-08-11'