Inspection de WaPOR dans le temps#
Mots-clés données utilisées; sentinel 2 données utilisées; masque de cultures
Aperçu#
Le projet de productivité de l’eau grâce à l’accès libre aux données dérivées de la télédétection (WaPOR) surveille et signale la productivité de l’eau agricole via des mesures biophysiques, en mettant l’accent sur l’Afrique et le Proche-Orient. Ces informations aident les pays partenaires à améliorer la productivité des terres et de l’eau dans l’agriculture pluviale et irriguée (Peiser et al. 2017).
L’évapotranspiration présente un intérêt particulier pour les terres agricoles irriguées. Il peut être instructif de visualiser l’évolution de la croissance des plantes (photosynthèse/production de biomasse) tout au long d’une saison en parallèle avec l’évapotranspiration.
Description#
Ce notebook propose une introduction aux données et à la nomenclature de WaPOR, et présente le chargement et la visualisation.
Tout d’abord, nous chargeons le masque des cultures pour définir la zone d’intérêt pour la visualisation.
Ensuite, le profil saisonnier des cultures locales est inspecté à l’aide d’une série temporelle de l’indice de végétation amélioré (EVI) afin d’identifier une période pour la visualisation.
Une fois la saison définie, les données d’évapotranspiration et de productivité primaire nette sont chargées.
Enfin, l’EVI, la productivité primaire nette et l’évapotranspiration sont tracés dans une visualisation unique. ***
Commencer#
Pour exécuter cette analyse, exécutez toutes les cellules du bloc-notes, en commençant par la cellule « Charger les packages ».
Charger des paquets#
Importez les packages Python utilisés pour l’analyse.
Utilisez les commandes d’importation standards ; certaines sont présentées ci-dessous. Commencez par les commandes magiques iPython, suivies des packages Python standards, puis de toutes les fonctionnalités supplémentaires dont vous avez besoin du package Tools.
[1]:
import datacube
import matplotlib.dates as mdates
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import rioxarray
import xarray as xr
import geopandas as gpd
from datacube.utils.masking import mask_invalid_data
from deafrica_tools.areaofinterest import define_area
from deafrica_tools.bandindices import calculate_indices
from deafrica_tools.datahandling import load_ard
from deafrica_tools.load_wapor import get_all_WaPORv3_mapsets, get_WaPORv3_info, load_wapor_ds
from deafrica_tools.plotting import display_map
from deafrica_tools.temporal import temporal_statistics, xr_phenology
from odc.geo.geom import Geometry
from odc.geo.xr import xr_reproject
from wapordl import wapor_map
INFO: WaPORDL (`1.2.1`)
Se connecter au datacube#
Connectez-vous au datacube pour que nous puissions accéder aux données de DE Africa. Le paramètre « app » est un nom unique pour l’analyse qui est basé sur le nom du fichier du notebook.
[2]:
dc = datacube.Datacube(app="WaPOR")
INFO: setup plugin alembic.autogenerate.schemas
INFO: setup plugin alembic.autogenerate.tables
INFO: setup plugin alembic.autogenerate.types
INFO: setup plugin alembic.autogenerate.constraints
INFO: setup plugin alembic.autogenerate.defaults
INFO: setup plugin alembic.autogenerate.comments
Paramètres d’analyse#
La cellule ci-dessous spécifie le dossier dans lequel les données téléchargées seront stockées. Si vous utilisez ce script de manière répétée, il est recommandé de vider ce dossier de temps en temps pour réduire l’espace de stockage sur le volume de la Sandbox.
[3]:
folder = "../Supplementary_data/WaPOR" # folder that the data will be sent to
Ensuite, la zone d’intérêt est définie. Il peut également s’agir d’un fichier .geojson que la fonction de chargement accepte. Sinon, deux méthodes sont disponibles :
En spécifiant la latitude, la longitude et la zone tampon (buffer). Cette méthode nécessite de saisir la latitude centrale, la longitude centrale et la valeur du buffer en degrés carrés autour du point central que vous souhaitez analyser. Par exemple,
lat = 30.75,lon = 31.35etbuffer = 0.1sélectionneront une zone d’un rayon de 0,1 degré carré autour du point de coordonnées (30.75, 31.35).Alternativement, vous pouvez fournir des valeurs de buffer distinctes pour la latitude et la longitude afin d’obtenir une zone rectangulaire. Par exemple,
lat = 30.75,lon = 31.35,lat_buffer = 0.1etlon_buffer = 0.08sélectionneront une zone rectangulaire s’étendant de 0,1 degré au nord et au sud, et de 0,08 degré à l’est et à l’ouest à partir du point(30.75, 31.35).Pour des temps de chargement raisonnables, définissez la mémoire tampon sur « 0,1 » ou moins.
By uploading a polygon as an
Esri Shapefile. If you choose this option, you will need to upload the geojson or ESRI shapefile into the Sandbox using Upload Files button
in the top left corner of the Jupyter Notebook interface. ESRI shapefiles must be uploaded with all the related files (.cpg, .dbf, .shp, .shx). Once uploaded, you can use the shapefile or geojson to define the area of interest. Remember to update the code to call the file you have uploaded.
Pour utiliser l’une de ces méthodes, vous pouvez décommenter la ligne de code concernée et commenter l’autre. Pour commenter une ligne, ajoutez le symbole "#" avant le code que vous souhaitez commenter. Par défaut, la première option qui définit l’emplacement à l’aide de la latitude, de la longitude et du tampon est utilisée.
Si vous exécutez le bloc-notes pour la première fois, conservez les paramètres par défaut ci-dessous. Cela permettra de démontrer le fonctionnement de l’analyse et de fournir des résultats significatifs.
Comme pour le notebook de chargement des données WaPOR <../Datasets/WaPOR.ipynb>, ce notebook de démonstration charge une zone de terres cultivées dans le delta du Nil, en Égypte. Le delta du Nil abrite une agriculture irriguée dans un climat très aride. Cela signifie qu’il présente une couverture nuageuse très faible et des profils de culture facilement identifiables sur l’imagerie satellite, ce qui en fait une zone d’essai utile pour les analyses basées sur l’observation de la Terre.
[4]:
# Method 1: Specify the latitude, longitude, and buffer
aoi = define_area(lat=30.75, lon=31.35, buffer=0.03)
# Method 2: Use a polygon as a GeoJSON or Esri Shapefile.
# aoi = define_area(vector_path='aoi.shp')
#Create a geopolygon and geodataframe of the area of interest
geopolygon = Geometry(aoi["features"][0]["geometry"], crs="epsg:4326")
geopolygon_gdf = gpd.GeoDataFrame(geometry=[geopolygon], crs=geopolygon.crs)
# Get the latitude and longitude range of the geopolygon
lat_range = (geopolygon_gdf.total_bounds[1], geopolygon_gdf.total_bounds[3])
lon_range = (geopolygon_gdf.total_bounds[0], geopolygon_gdf.total_bounds[2])
region = [geopolygon_gdf.total_bounds[0], geopolygon_gdf.total_bounds[1], geopolygon_gdf.total_bounds[2], geopolygon_gdf.total_bounds[3]]
display_map(x=lon_range, y=lat_range)
[4]:
Charger l’imagerie Sentinel-2#
Nous utiliserons les données de réflectance de surface pour calculer des indices pour une première évaluation de la phénologie des cultures, nous chargeons donc les données Sentinel-2 à cet effet.
[5]:
period = ["2022-01-01", "2023-12-31"]
query = {
"y": (region[1],region[3]),
"x": (region[0],region[2]),
"time": period,
"measurements": ["red", "green", "blue", "nir"],
"resolution": (-20, 20),
"output_crs": "epsg:6933", #match wapor
"group_by": "solar_day",
}
# Load available data from Sentinel-2
ds = load_ard(
dc=dc,
products=["s2_l2a"],
**query,
)
ds
Using pixel quality parameters for Sentinel 2
Finding datasets
s2_l2a
Applying pixel quality/cloud mask
Loading 146 time steps
/opt/venv/lib/python3.12/site-packages/deafrica_tools/datahandling.py:565: FutureWarning: In a future version of xarray the default value for compat will change from compat='no_conflicts' to compat='override'. This is likely to lead to different results when combining overlapping variables with the same name. To opt in to new defaults and get rid of these warnings now use `set_options(use_new_combine_kwarg_defaults=True) or set compat explicitly.
ds = xr.merge([ds_data, ds_masks])
/opt/venv/lib/python3.12/site-packages/rasterio/warp.py:385: NotGeoreferencedWarning: Dataset has no geotransform, gcps, or rpcs. The identity matrix will be returned.
dest = _reproject(
[5]:
<xarray.Dataset> Size: 224MB
Dimensions: (time: 146, y: 331, x: 290)
Coordinates:
* time (time) datetime64[ns] 1kB 2022-01-03T08:41:33 ... 2023-12-29...
* y (y) float64 3kB 3.745e+06 3.745e+06 ... 3.738e+06 3.738e+06
* x (x) float64 2kB 3.022e+06 3.022e+06 ... 3.028e+06 3.028e+06
spatial_ref int32 4B 6933
Data variables:
red (time, y, x) float32 56MB 494.0 513.0 406.0 ... 532.0 614.0
green (time, y, x) float32 56MB 991.0 968.0 835.0 ... 615.0 722.0
blue (time, y, x) float32 56MB 653.0 625.0 576.0 ... 358.0 409.0
nir (time, y, x) float32 56MB 4.67e+03 5.447e+03 ... 2.059e+03
Attributes:
crs: EPSG:6933
grid_mapping: spatial_refCharger le masque des cultures#
Dans ce notebook, nous nous intéressons à la phénologie des cultures. Par conséquent, nous limitons notre zone uniquement aux terres cultivées afin d’éliminer l’effet des autres classes de couverture terrestre. Pour ce faire, nous utilisons ci-dessous le masque de terres cultivées de Digital Earth Africa.
Tout d’abord, nous chargeons le masque des cultures pour la zone d’intérêt.
[6]:
cm = dc.load(
product="crop_mask",
time=("2019"),
measurements="filtered",
resampling="nearest",
like=ds.geobox,
).filtered.squeeze()
cm.where(cm < 255).plot.imshow(
add_colorbar=False, figsize=(6, 6)
) # we filter to <255 to omit missing data
plt.title("Cropland Extent");
Ensuite, nous masquons les données Sentinel-2, ds, sur les zones cultivées.
[7]:
ds = ds.where(cm == 1)
Nous utiliserons l’indice de végétation amélioré (EVI) pour obtenir une première image de la phénologie. C’est l’indice privilégié car il est plus sensible aux niveaux élevés de verdeur, observés dans les cultures irriguées à forte densité que nous étudions ici. Nous pouvons ainsi mieux identifier la progression de la saison des cultures avec l’EVI qu’avec d’autres indices.
[8]:
ds = calculate_indices(ds, index='EVI', satellite_mission="s2")
La cellule ci-dessous rééchantillonne la série temporelle de l’EVI à intervalles réguliers de 10 jours. Cela signifie que la série temporelle de l’EVI correspondra à la régularité des données décadaires WaPOR.
[9]:
resample_period = "10D"
window = 4
veg_smooth = (
ds['EVI']
.resample(time=resample_period)
.median()
.rolling(time=window, min_periods=1)
.mean()
)
Inspecter la phénologie#
Le tracé de la série temporelle EVI sur deux ans (2022 et 2023) montre que la zone sélectionnée suit un schéma de « double culture » où deux cultures sont produites sur une période de 12 mois. D’après le profil EVI, la saison principale semble s’étendre d’environ novembre à juin, avec une saison secondaire d’environ juin à novembre. Cela correspond aux caractérisations des systèmes de culture dans le delta du Nil.
[10]:
veg_smooth_1D = veg_smooth.mean(["x", "y"])
veg_smooth_1D.plot.line("b-^", figsize=(15, 5), color='green')
_max = veg_smooth_1D.max()
_min = veg_smooth_1D.min()
plt.title("EVI time-series")
plt.ylabel('EVI');
Pour les visualisations restantes, nous nous concentrerons sur la saison principale (hiver) entre environ octobre 2022 et juin 2023. Nous mènerons une analyse phénologique plus approfondie pour identifier le début et la fin de la saison, mais nous devons d’abord limiter notre série temporelle à une saison distincte, comme ci-dessous.
[11]:
veg_smooth_1D = veg_smooth.mean(["x", "y"]).sel(time=slice('2022-10', '2023-06'))
veg_smooth_1D.plot.line("b-^", figsize=(15, 5))
_max = veg_smooth_1D.max()
_min = veg_smooth_1D.min()
plt.title("EVI time-series")
plt.ylabel('EVI');
Calculer les statistiques de phénologie#
La cellule ci-dessous calcule les statistiques phénologiques pour la série temporelle sélectionnée, ce qui nous permettra de limiter notre analyse à une saison de culture définie.
Les statistiques sont :
SOS - date de début de saison et sa valeur (vSOS)
POS - date de pic de saison et sa valeur (vPOS)
EOS - date de fin de saison et sa valeur (EOS)
Creux - valeur minimale
LOS - longueur de la saison (EOS - SOS)
AOS - amplitude (vPOS - Creux)
ROG - taux de verdissement = (vPOS - vSOS) / (POS - SOS)
ROS - taux de sénescence = (vEOS - vPOS) / (EOS - POS)
Nous définissons également les méthodes de détection du SOS et de l’EOS, comme ci-dessous.
method_sos : Si “first”, alors vSOS est estimé comme la première pente positive sur le côté verdissement de la courbe. Si “median”, alors vSOS est estimé comme la valeur médiane des pentes positives sur le côté verdissement de la courbe.
method_eos : Si “last”, alors vEOS est estimé comme la dernière pente négative sur le côté sénescence de la courbe. Si “median”, alors vEOS est estimé comme la valeur “médiane” des pentes négatives sur le côté sénescence de la courbe.
Plus d’informations sur les méthodes phénologiques sont disponibles dans la documentation détaillée des statistiques temporelles.
[12]:
basic_pheno_stats = [
"SOS",
"vSOS",
"POS",
"vPOS",
"EOS",
"vEOS",
"Trough",
"LOS",
"AOS",
"ROG",
"ROS",
]
method_sos = "first"
method_eos = "last"
years = veg_smooth_1D.groupby("time.year")
# store results in dict
pheno_results = {}
# loop through years and calculate phenology
for y, year in years:
# calculate stats
stats = xr_phenology(
year,
method_sos=method_sos,
method_eos=method_eos,
stats=basic_pheno_stats,
verbose=False,
)
# add results to dict
pheno_results[str(y)] = stats
df_dict = {}
for key, value in pheno_results.items():
df_dict_1 = {}
for b in value.data_vars:
if value[b].dtype == np.dtype("<M8[ns]") or value[b].dtype == np.dtype("int16"):
result = pd.to_datetime(value[b].values)
else:
result = round(float(value[b].values), 3)
df_dict_1[b] = result
df_dict[key] = df_dict_1
df = (pd.DataFrame(df_dict)).T
df
[12]:
| SOS | vSOS | POS | vPOS | EOS | vEOS | Trough | LOS | AOS | ROG | ROS | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 2022 | 2022-11-09 00:00:00 | 0.223 | 2022-12-29 00:00:00 | 0.53 | NaT | NaN | 0.214 | 0.0 | 0.316 | 0.006 | NaN |
| 2023 | 2023-01-08 00:00:00 | 0.59 | 2023-03-19 00:00:00 | 0.703 | 2023-06-17 00:00:00 | 0.225 | 0.225 | 160.0 | 0.478 | 0.002 | -0.005 |
Graphique de la saison#
Ci-dessous, la série temporelle EVI est tracée avec le début de saison, le pic de saison et la fin de saison étiquetés.
[13]:
fig, ax = plt.subplots(figsize=(8,6))
y = veg_smooth_1D
x = veg_smooth_1D.time
line, = ax.plot(x,y, color='green')
ax.annotate('SOS', xy=(df.SOS[0], df.Trough[0]), xytext=(df.SOS[0], df.Trough[0]+0.09),
arrowprops=dict(facecolor='black', shrink=0.05),)
ax.annotate('POS', xy=(df.POS[1], df.vPOS[1]), xytext=(df.POS[1], df.vPOS[1]-0.09),
arrowprops=dict(facecolor='black', shrink=0.05),)
ax.annotate('EOS', xy=(df.EOS[1], df.vEOS[1]), xytext=(df.EOS[1], df.vEOS[1]+0.09),
arrowprops=dict(facecolor='black', shrink=0.05),)
plt.show()
Charger et tracer l’évapotranspiration décadaire#
Maintenant que nous avons identifié le début et la fin de la saison, nous pouvons charger les données d’évapotranspiration. Nous les chargeons à intervalles de 10 jours (décadaires) ci-dessous.
Cliquer sur l’élément des attributs lorsque le jeu de données est affiché révèle les unités, les facteurs d’échelle et d’autres informations utiles.
Notez que les valeurs d’échelle et de décalage ont été intégrées dans la fonction load_wapor_ds() afin que les valeurs retournées soient dans les unités indiquées ci-dessous, dans ce cas en mm/jour.
[14]:
period = [pd.to_datetime(df.SOS)[0], pd.to_datetime(df.EOS)[1]]
variable = 'L3-AETI-D'
aetid = wapor_map(region, variable, period, folder, extension = '.nc')
aetid_xr = load_wapor_ds(filename=aetid, variable=variable)
aetid_xr
WARNING: `region` intersects with multiple L3 regions (['ENO', 'ZAN']), continuing with ENO only.
INFO: Found 23 files for L3-AETI-D.
INFO: Converting from `.tif` to `.nc`.
[14]:
<xarray.Dataset> Size: 18MB
Dimensions: (x: 294, y: 338, time: 23)
Coordinates:
* x (x) float64 2kB 3.391e+05 3.392e+05 ... 3.45e+05 3.45e+05
* y (y) float64 3kB 3.406e+06 3.406e+06 ... 3.4e+06 3.4e+06
* time (time) datetime64[ns] 184B 2022-11-01 2022-11-11 ... 2023-06-11
spatial_ref int32 4B 32636
Data variables:
L3-AETI-D (time, y, x) float64 18MB -999.9 -999.9 ... -999.9 -999.9
Attributes:
long_name: Actual EvapoTranspiration and Interception
overview: NONE
temporal_resolution: Dekad
units: mm/day
scale_factor: 0.1
_FillValue: -9999
add_offset: 0.0Pour limiter les données d’évapotranspiration aux zones de cultures, nous devons les reprojeter.
[15]:
# Reproject data
aetid_xr_reprojected = aetid_xr.odc.reproject(how=ds.odc.geobox, resampling="average")
#Set nodata to `NaN`
aetid_xr_reprojected = mask_invalid_data(aetid_xr_reprojected)
aetid_xr_crop = aetid_xr_reprojected.where(cm == 1).where(aetid_xr_reprojected['L3-AETI-D'] != -9999)
Le graphique ci-dessous montre l’évapotranspiration en mm/jour pour le premier pas de temps de la série temporelle décadaire.
[16]:
aetid_xr_crop['L3-AETI-D'].isel(time=0).plot()
[16]:
<matplotlib.collections.QuadMesh at 0x7f5051785b20>
Enfin, la série temporelle de l’évapotranspiration pour les zones de cultures est tracée.
[17]:
aetid_xr_crop['L3-AETI-D'].mean(["x", "y"]).plot.line("b-^", figsize=(11, 4))
plt.title("Zonal mean of ET");
Charger et tracer la productivité primaire nette décadaire#
La production de biomasse décadaire (productivité primaire nette) est chargée ci-dessous, puis reprojetée et découpée à la zone de cultures comme pour l’évapotranspiration.
[18]:
variable = 'L3-NPP-D'
nppd = wapor_map(region, variable, period, folder, extension = '.nc')
nppd_xr = load_wapor_ds(filename=nppd, variable=variable)
# Reproject data
nppd_xr_reprojected = xr_reproject(src=nppd_xr,
how=ds.odc.geobox,
resampling="average")
#Set nodata to `NaN`
nppd_xr_reprojected = mask_invalid_data(nppd_xr_reprojected)
nppd_xr_crop = nppd_xr_reprojected.where(cm == 1)
nppd_xr_crop['L3-NPP-D'].mean(["x", "y"]).plot.line("g-^", figsize=(11, 4))
plt.title("Zonal mean of NPP");
WARNING: `region` intersects with multiple L3 regions (['ENO', 'ZAN']), continuing with ENO only.
INFO: Found 23 files for L3-NPP-D.
INFO: Converting from `.tif` to `.nc`.
Combiner les variables dans un seul graphique#
Enfin, l’EVI, l’ET et la NPP sont tracés ensemble pour inspecter la progression de la saison de culture. Cela peut être utilisé pour tirer des conclusions sur la saison de culture. Par exemple, nous pouvons voir une baisse de la NPP et de l’ET après février 2023, associée à un ralentissement du taux de croissance de l’EVI. Cela suggère que l’activité de croissance des cultures a ralenti. La cause n’est pas claire. Il pourrait s’agir d’un manque d’eau d’irrigation, d’un problème de nutriments ou d’un stress thermique. Cette analyse est donc exploratoire et oriente les analyses ultérieures qui pourraient être entreprises.
[19]:
fig, axs = plt.subplots(3, sharex=True, figsize=(14,8), gridspec_kw={'hspace': 0.5})
veg_smooth_1D_slice = veg_smooth_1D.sel(time=slice(*period))
axs[0].set_title('EVI')
axs[0].set_ylabel('EVI')
axs[0].plot(veg_smooth_1D_slice.time, veg_smooth_1D_slice, color='green')
axs[1].set_title('NPP')
axs[1].set_ylabel('gC/m²/day')
axs[1].plot(nppd_xr_crop['L3-NPP-D'].mean(["x", "y"]).time, nppd_xr_crop['L3-NPP-D'].mean(["x", "y"]), color='black')
axs[2].set_title('Actual Evapotranspiration and Interception')
axs[2].set_ylabel('mm')
axs[2].plot(aetid_xr_crop['L3-AETI-D'].mean(["x", "y"]).time, aetid_xr_crop['L3-AETI-D'].mean(["x", "y"]), color='blue')
axs[2].xaxis_date()
axs[2].xaxis.set_major_formatter(mdates.DateFormatter("%b-%Y"))
Conclusion#
Ce notebook a démontré l’utilisation de WaPOR tout au long d’une saison de culture et son intégration avec des outils de phénologie pour comprendre les schémas saisonniers des cultures. Les techniques d’analyse saisonnière et les visualisations présentées dans ce notebook orientent les analyses ultérieures qui pourraient être entreprises.
Informations Complémentaires#
Licence : Le code de ce carnet est sous licence Apache, version 2.0 <https://www.apache.org/licenses/LICENSE-2.0>. Les données de Digital Earth Africa sont sous licence Creative Commons par attribution 4.0 <https://creativecommons.org/licenses/by/4.0/>.
Contact : Si vous avez besoin d’aide, veuillez poster une question sur le canal Slack Open Data Cube <http://slack.opendatacube.org/>`__ ou sur le GIS Stack Exchange en utilisant la balise open-data-cube (vous pouvez consulter les questions posées précédemment ici). Si vous souhaitez signaler un problème avec ce bloc-notes, vous pouvez en déposer un sur Github.
Version de Datacube compatible :
[20]:
print(datacube.__version__)
1.9.13
Dernier test :
[21]:
from datetime import datetime
datetime.today().strftime('%Y-%m-%d')
[21]:
'2026-04-08'