Composites GeoMAD sans nuages

Date modified: March 2022

Image d'en-tête - Une section d'Olifantsrivier en Afrique du Sud, imagée à l'aide du GeoMAD annuel 2019 de Sentinel-2. Contient des données Copernicus Sentinel 2019 modifiées, traitées par Digital Earth Africa.

Aperçu du service

Contexte

GeoMAD est le service de données sur la réflectance de surface de Digital Earth Africa (DE Africa) et la triple déviation médiane absolue. Il s’agit d’un composite sans nuage de données satellitaires compilées sur des périodes spécifiques. Ce service est idéal pour :

  • Analyse des séries chronologiques à plus long terme

  • Cloud-free imagery

  • Précision statistique

GeoMAD comporte deux composantes principales :

  • Geomedian

  • Écarts absolus médians (MAD)

La composante géomédiatique combine les mesures recueillies au cours de la période spécifiée afin de produire une mesure multispectrale représentative pour chaque unité de pixel du continent africain. Le résultat final est un ensemble de données complet qui peut être utilisé pour générer des images en couleurs vraies pour l’inspection visuelle de repères anthropiques ou naturels. Le jeu de données spectrales complet peut être utilisé pour développer des algorithmes plus complexes.

For each pixel, invalid data is discarded, and the remaining observations are mathematically summarised using the geomedian statistic. Flyover coverage provided by collecting data over a period of time also helps scope intermittently cloudy areas.

Les variations entre le géomédien et les mesures individuelles sont saisies par les trois couches de déviation absolue médiane (MAD). Il s’agit de mesures statistiques d’ordre supérieur calculant la variation par rapport au géomédian. Les couches MAD peuvent être utilisées seules ou avec la géomédienne pour obtenir des informations sur la surface du sol et comprendre les changements dans le temps.

Calculating GeoMAD over different timeframes and sensors provides a range of insights to the environment. An annual timeframe allows better correction for cloud cover and reduces artifacts for comparison over multiple years. A shorter timeframe, for example, six-month or three-month blocks, better captures seasonal variation within one year, and can be used to compare equivalent periods from different years. Landsat sensors allow full utility of the surface reflectance archive dating back to 1984, while more recent Sentinel-2 data provides higher-frequency flyovers and better resolution.

The Digital Earth Africa GeoMAD service currently provides annual, six-month semiannual and rolling monthly (3-month moving window) datasets, with separate services for Landsat and Sentinel-2 sensors.

Jupyter Notebooks that demonstrate loading and using GeoMAD and Rolling GeoMAD datasets in the Sandbox are also available.

Spécifications

The GeoMAD service spans all of Africa and is currently available in three timeframes:

  • Annuel : les observations d’une année civile sont résumées en un seul ensemble de mesures.

    • Sentinel-2 GeoMAD annuel

    • Landsat 8 annuel GeoMAD

    • Landsat 5 & 7 annuel GeoMAD

    • Landsat 8 & 9 Annual GeoMAD

  • Semestriel : les observations sont résumées pour chaque moitié de l’année civile, ce qui donne un ensemble de mesures pour janvier-juin et un autre pour juillet-décembre.

    • GeoMAD semestriel de Sentinel-2

  • Rolling GeoMAD: observations are summarised over rolling three-month periods starting on the first day of each calendar month, giving a set of new measurements each month e.g Jan-Mar, Feb-Apr, Mar-May and so on.

    • Sentinel-2 Rolling Monthly GeoMAD

GeoMAD metadata can also be viewed on Digital Earth Africa’s Metadata Explorer.

Tableau 1 : Spécifications du service GeoMAD de Sentinel-2.

Spécifications

Nom du service

Sentinel-2 GeoMAD annuel

GeoMAD semestriel de Sentinel-2

Sentinel-2 Rolling Monthly GeoMAD

État des services

Opérationnel

Opérationnel

Opérationnel

Nombre de bandes

14

14

14

Taille de la cellule - X (mètres)

10

10

10

Taille de la cellule - Y (mètres)

10

10

10

Système de référence des coordonnées (CRS)

EPSG : 6933

EPSG : 6933

EPSG : 6933

Résolution temporelle

Annuel

6 mois (Jan-Juin, Juil-Dec)

Monthly (3-month rolling window)

Plage temporelle

2017 – current

2017 – current

2019 – current

Ensemble de données parent

Sentinel-2 niveau 2A

Sentinel-2 niveau 2A

Sentinel-2 niveau 2A

Fréquence de mise à jour

Annuel

6 months

Monthly

Latence de mise à jour

2 mois à compter de la fin de l’année précédente

2 months from end of previous half year

1 month from end of previous period

Tableau 2 : Spécifications du service Landsat GeoMAD

Spécifications

Nom du service

Landsat 8 & 9 Annual GeoMAD

Landsat 8 annuel GeoMAD

Landsat 5 & 7 annuel GeoMAD

État des services

Opérationnel

Opérationnel

Opérationnel

Nombre de bandes

10

10

10

Taille de la cellule - X (mètres)

30

30

30

Taille de la cellule - Y (mètres)

30

30

30

Système de référence des coordonnées (CRS)

EPSG : 6933

EPSG : 6933

EPSG : 6933

Résolution temporelle

Annuel

Annuel

Annuel

Plage temporelle

2021 –

2013 - 2020

1984 - 2012

Ensemble de données parent

Collection Landsat niveau 2 2

Collection Landsat niveau 2 2

Collection Landsat niveau 2 2

Fréquence de mise à jour

Annuel

Annuel

NA

Latence de mise à jour

2 mois à compter de la fin de l’année précédente

2 mois à compter de la fin de l’année précédente

NA

The Landsat 5 & 7 Annual GeoMAD service combines data from both the Landsat 5 and Landsat 7 sensors. It is produced for the 1984 – 2012 archive only. Similarly, the Landsat 8 & 9 Annual GeoMAD came into production after Landsat 9 data became available in late 2021.

Figure 1 : Étendue géographique de GeoMAD.

S-2 Étendue des données GeoMAD

Les données GeoMAD de Digital Earth Africa sont disponibles pour les régions ombragées en bleu. Les étendues temporelles et géographiques spécifiques peuvent être explorées sous forme de carte interactive sur le Digital Earth Africa Metadata Explorer.

Sentinel-2, Landsat 8, and Landsat 8 & 9 GeoMAD services are generated from parent datasets with frequent satellite flyovers consistent with the geographic extent shown in Figure 1. While the Landsat 5 & Landsat 7 Annual GeoMAD also covers the same area, there are some limitations associated with the sparsity of the Landsat archive over Africa, particularly before the launch of Landsat 7 in 1999.

Ceci est illustré visuellement dans l’imagerie « count » de la figure 2. L’Afrique du Nord et l’Afrique australe ont la meilleure couverture sur la période d’archive. L’Afrique centrale et l’Afrique de l’Ouest présentent un nombre plus faible de données, et donc moins d’années où un géomédian et des MAD ont été calculés. Il est recommandé de consulter le Digital Earth Africa Metadata Explorer pour connaître la disponibilité précise des données de la géomédiane Landsat 5 et 7.

Figure 2 : Étendue des données GeoMAD Landsat 5 & 7.

Gauche: Une animation montrant le nombre de données sur l’Afrique pour les années 1984 à 2012. Le bleu plus foncé indique des comptages plus élevés, tandis que le bleu plus clair indique des comptages plus faibles. Les zones avec des comptes très bas ou nuls pour une année n’ont pas assez de données pour calculer un géomédian ou des MAD pour cette année.

À droite: Une image statique montrant le nombre d’années pour lesquelles un géomédian a été calculé. Au cours des 29 années entre 1984 et 2012, l’Afrique du Nord et l’Afrique australe présentent une couverture géomédiatique presque complète, tandis que l’Afrique centrale et l’Afrique de l’Ouest présentent un nombre inférieur de géomédias, associé à une moindre acquisition de données au cours de cette période.

LS5-7 L'étendue des données GeoMAD dans le temps LS5-7 Résumé du comptage GeoMAD

Tableau 3.1 : Mesures GeoMAD de Sentinel-2.

ID de la bande

Description

Plage de valeurs

Type de données

Aucune valeur de données

B02

Geomedian B02 (Bleu)

1 - 10000

uint16

0

B03

Geomedian B03 (Vert)

1 - 10000

uint16

0

B04

Geomedian B04 (Rouge)

1 - 10000

uint16

0

B05

Geomedian B05 (bord rouge 1)

1 - 10000

uint16

0

B06

Geomedian B06 (bord rouge 2)

1 - 10000

uint16

0

B07

Geomedian B07 (bord rouge 3)

1 - 10000

uint16

0

B08

Geomedian B08 (proche infrarouge (NIR) 1)

1 - 10000

uint16

0

B8A

Geomedian B8A (NIR 2)

1 - 10000

uint16

0

B11

Geomedian B11 (infrarouge à ondes courtes (SWIR) 1)

1 - 10000

uint16

0

B12

Geomedian B12 (SWIR 2)

1 - 10000

uint16

0

SMAD

Écart absolu médian spectral

0 - 1

float32

NaN`

EMAD

Écart absolu médian euclidien

0 - 31623

float32

NaN`

BCMAD

Écart absolu médian de Bray-Curtis

0 - 1

float32

NaN`

COMPTER

Nombre d’observations claires

1 - 65535

uint16

0

Table 3.2: Landsat 8 and Landsat 8 & 9 GeoMAD measurements

ID de la bande

Description

Plage de valeurs

Type de données

Aucune valeur de données

SR_B2

Geomedian SR_B2 (Bleu)

1 - 10000

uint16

0

SR_B3

Geomedian SR_B3 (Vert)

1 - 10000

uint16

0

SR_B4

Geomedian SR_B4 (Rouge)

1 - 10000

uint16

0

SR_B5

Geomedian SR_B5 (NIR)

1 - 10000

uint16

0

SR_B6

Geomedian SR_B6 (SWIR 1)

1 - 10000

uint16

0

SR_B7

Geomedian SR_B7 (SWIR 2)

1 - 10000

uint16

0

SMAD

Écart absolu médian spectral

0 - 1

float32

NaN`

EMAD

Écart absolu médian euclidien

0 - 31623

float32

NaN`

BCMAD

Écart absolu médian de Bray-Curtis

0 - 1

float32

NaN`

COMPTER

Nombre d’observations claires

1 - 65535

uint16

0

Tableau 3.3 : Mesures GeoMAD de Landsat 5 et Landsat 7.

ID de la bande

Description

Plage de valeurs

Type de données

Aucune valeur de données

SR_B1

Geomedian SR_B1 (Bleu)

1 - 10000

uint16

0

SR_B2

Geomedian SR_B2 (Vert)

1 - 10000

uint16

0

SR_B3

Geomedian SR_B3 (Rouge)

1 - 10000

uint16

0

SR_B4

Geomedian SR_B4 (NIR)

1 - 10000

uint16

0

SR_B5

Geomedian SR_B5 (SWIR 1)

1 - 10000

uint16

0

SR_B7

Geomedian SR_B7 (SWIR 2)

1 - 10000

uint16

0

SMAD

Écart absolu médian spectral

0 - 1

float32

NaN`

EMAD

Écart absolu médian euclidien

0 - 31623

float32

NaN`

BCMAD

Écart absolu médian de Bray-Curtis

0 - 1

float32

NaN`

COMPTER

Nombre d’observations claires

1 - 65535

uint16

0

Les bandes peuvent être subdivisées comme suit :

  • Geomedian - 10 bands (Sentinel-2), 6 bands (Landsat 5/7/8/9): The geomedian is calculated using the spectral bands of data collected during the specified time period. Surface reflectance values have been scaled between 1 and 10000 to allow for more efficient data storage as unsigned 16-bit integers (uint16). Note parent datasets often contain more bands, some of which are not used in GeoMAD.

Les ID des bandes géomédiennes correspondent aux bandes des données parentes Sentinel-2 Niveau 2A. Par exemple, la bande GeoMAD annuelle B02 contient le géomédian annuel de la bande Sentinel-2 B02.

  • Écarts absolus médians (MAD) - 3 bandes: Les écarts par rapport à la géomédiane sont quantifiés par des calculs d’écart absolu médian. Le service GeoMAD utilise trois MAD, chacune étant stockée dans une bande distincte : MAD euclidienne (EMAD), MAD spectrale (SMAD) et MAD de Bray-Curtis (BCMAD). Chaque MAD est calculée en utilisant les mêmes dix bandes que dans le géomédian. SMAD et BCMAD sont des rapports normalisés, ils sont donc sans unité et leurs valeurs sont toujours comprises entre 0 et 1. EMAD est une fonction de la réflectance de la surface mais n’est ni un rapport ni normalisé, donc sa plage de valeurs valides dépend du nombre de bandes utilisées dans le calcul du géomédian - dix dans GeoMAD.

  • Count - 1 band: The number of clear satellite measurements of a pixel for that calendar year. This is around 60 for Sentinel-2 and 20 for Landsat 8 annually, but doubles at areas of overlap between scenes. « Count » is not incorporated in either the geomedian or MADs calculations. It is intended for metadata analysis and data validation.

Traitement

All clear observations for the given time period are collated from the parent dataset. Cloudy pixels are identified and excluded. The geomedian and MADs calculations are then performed by the hdstats package.

Médias et exemples d’images

Image 1 : Animations sur l’Afrique du Nord. 1984 - 2012 Landsat 5 & 7 Annual geomedian, true-colour (RGB).

*Gauche:*Extension de la zone agricole près de la ville de Sadat, en Égypte.

Droit: Urbanisation à Tanger, Maroc.

Crédit : Contient le produit scientifique Landsat Level-2 Surface Reflectance, gracieuseté de l’U.S. Geological Survey, traité par Digital Earth Africa.

ab59e132821042128b751c179abd65e3 f1a5221156c64664b601d18aa276786f

Image 2 : Mangroves en Guinée-Bissau. 2019 Sentinel-2 Annual geomedian, true-colour (RGB).

Crédit : Contient des données Copernicus Sentinel 2019 modifiées, traitées par Digital Earth Africa.

Composite géomédiatique

Image 3 : Terres cultivées en Afrique du Sud. Triple MAD annuelle de Sentinel-2 de 2019, tracée en RGB.

Crédit : Contient des données Copernicus Sentinel 2019 modifiées, traitées par Digital Earth Africa.

MADs

Image 4 : Champs irrigués en Egypte. Jan-Juin 2020 (droite), Jul-Dec 2020 (gauche). Géomédia semestrielle Sentinel-2 de 2020, couleurs vraies (RVB).

Crédit : Contient des données Copernicus Sentinel 2020 modifiées, traitées par Digital Earth Africa.

Géomédias semestriels

Image 5 : Le delta de l’Okavango, Botswana. Triple MAD annuelle Landsat 8 de 2020, tracée en RGB.

Crédit : Contient le produit scientifique Landsat Level-2 Surface Reflectance, gracieuseté de l’U.S. Geological Survey, traité par Digital Earth Africa.

Géomédecine annuelle LS8

Image 6: Animations 2020–2022 using Sentinel-2 Rolling GeoMAD, true-colour (RGB)

The dates shown are the midpoints of the Rolling GeoMAD.

Credit: Contains modified Copernicus Sentinel data 2022, processed by Digital Earth Africa.

Farmland in northern Egypt

e74363e9da994a77bcf9ed2cbc943395

Wetland in Guinea Bissua

de66c661736d4354b84fe87073d98fa3

Known limitations

The Landsat 8 (& 9) GeoMAD has a known issue with data quality over marine regions. The GeoMAD algorithm uses pixel quality information from the input data to identify and mask pixels with poor quality obervations. Landsat 8 & 9 analysis ready satellite images over the ocean often contain negative surface reflectance values, and the GeoMAD masking procedures remove pixels where any negative values occur. Thus, in regions where pixels are persistently negative throughout the year, the GeoMAD product will contain a no-data value. An example of this can be seen in Image 7 below where a shallow marine system contains no-data values in the GeoMAD because the NIR band values in the input data are persistently negative.

Image 7: Shallow marine system, Mauritius. 2021 Landsat 8 Annual GeoMAD (left), versus Sentinel-2 GeoMAD (right), plotted as RGB.

Maps portal link

9eeb337f97fc4224a745adf09db07030

Références

Roberts, D., Mueller, N., & Mcintyre, A. (2017). Composites de pixels à haute dimension à partir de séries temporelles d’observation de la Terre. IEEE Transactions on Geoscience and Remote Sensing, 55(11), 6254-6264. https://doi.org/10.1109/TGRS.2017.2723896

Roberts, D., Dunn, B., Mueller, N. (2018). Produits Open Data Cube utilisant des statistiques à haute dimension des séries temporelles. 8647-8650. https://doi.org/10.1109/IGARSS.2018.8518312.

Licence

Licence internationale CC BY Attribution 4.0

Remerciements

Les algorithmes de statistiques à haute dimension incorporés dans ce service sont le fruit du travail du Dr Dale Roberts, de l’Australian National University.

Accès aux données

Amazon Web Services S3

Les données GeoMAD sont accessibles à partir du seau S3 associé.

Tableau 3 : Détails de l’accès aux données AWS.

Détails sur AWS S3

Seau ARN

arn:aws:s3:::deafrica-services

Nom du produit

gm_s2_annual, gm_ls8_annual, gm_ls5_ls7_annual, gm_s2_semiannual, gm_s2_rolling

Le seau se trouve dans la région AWS af-south-1 (Cape Town). Des spécifications de région supplémentaires peuvent être appliquées comme suit :

aws s3 ls --region=af-south-1 s3://deafrica-services/gm_s2_annual/

Les chemins d’accès aux fichiers suivent le format :

<productname>/<version>/<x>/<y>/<timeperiod>/<x><y>_<timeperiod>_<band>.<extension>

Tableau 4 : Convention de chemin d’accès aux fichiers AWS.

Élément de chemin d’accès au fichier

Description

Exemple

productname

Nom du produit

gm_s2_annuel

version

Version du produit

1.0.0

x

Numéro de tuile dans la direction « x ».

x17

y

Numéro de tuile dans la direction « y ».

y156

période de temps

Année de collecte des données suivie de la période et de l’unité de temps sous le format YYYY--P<période><unité>. Les unités de temps sont désignées par des lettres majuscules, Y pour les années et M pour les mois. Les données annuelles sont désignées par P1Y, tandis que les données semestrielles (telles que les semestrielles) sont désignées par P6M.

2019--P1Y

bande_de_temps_x_y.extension

Nom de fichier. Combine x, y, timeperiod avec band, en utilisant les ID de bande, et les extensions de fichier. Pour la plupart des tuiles, l’extension de fichier est .tif.

La numérotation des tuiles utilise des carrés de grille de 96 km basés sur le CRS par défaut pour ce produit, EPSG:6933, avec une origine fixée au coin inférieur gauche de la région valide EPSG:6933.

Services Web de l’OGC (OWS)

This service is available through DE Africa’s OWS.

Tableau 5 : Détails de l’accès aux données OWS.

Détails de l’OWS

Nom

DE Africa Services

URL des services cartographiques Web (WMS)

https://ows.digitalearth.africa/wms?version=1.3.0

URL du service de couverture Web (WCS)

https://ows.digitalearth.africa/wcs?version=2.1.0

Nom de la couche

gm_s2_annuel, gm_ls8_annuel, gm_ls5_ls7_annuel, gm_s2_semiannuel

Les détails de Digital Earth Africa OWS peuvent être trouvés sur https://ows.digitalearth.africa/.

Pour obtenir des instructions sur la manière de se connecter à OWS, consultez ce tutoriel.

Open Data Cube (ODC)

Les jeux de données GeoMAD sont accessibles dans l’API ODC de Digital Earth Africa, qui est disponible via le Digital Earth Africa Sandbox.

Specific bands of data can be called by using either the default names or any of a band’s alternative names, as listed in the table below. ODC datacube.Datacube.load commands without specified bands will load all bands; see ODC documentation.

Tableau 6.1 : Noms des produits et des bandes de l’ODC GeoMAD de Sentinel-2.

ODC product name: gm_s2_annual, gm_s2_semiannual, gm_s2_rolling

Nom du groupe

Noms alternatifs

B02

band_02, bleu

B03

band_03, vert

B04

bande_04, rouge

B05

bande_05, bord_rouge_1

B06

bande_06, bord_rouge_2

B07

bande_07, bord_rouge_3

B08

band_08, nir, nir_1

B8A

bande_8a, nir_narrow, nir_2

B11

band_11, swir_1, swir_16

B12

bande_12, tourbillon_2, tourbillon_22

SMAD

smad, sdev, SDEV

EMAD

emad, edev, EDEV

BCMAD

bcmad, bcdev, BCDEV

COMPTER

compter

Tableau 6.2 : Noms des produits et des bandes de l’ODC Landsat 8 GeoMAD.

Nom du produit ODC: gm_ls8_annual

Nom du groupe

Noms alternatifs

SR_B2

bande_2, bleu

SR_B3

bande_3, vert

SR_B4

bande_4, rouge

SR_B5

band_5, nir

SR_B6

bande_6, tourbillon_1

SR_B7

bande_7, tourbillon_2

SMAD

smad, sdev, SDEV

EMAD

emad, edev, EDEV

BCMAD

bcmad, bcdev, BCDEV

COMPTER

compter

Tableau 6.3 : Noms des produits et des bandes de l’ODC Landsat 5 & 7 GeoMAD.

Nom du produit ODC: gm_ls5_ls7_annuel

Nom du groupe

Noms alternatifs

SR_B1

bande_1, bleu

SR_B2

bande_2, vert

SR_B3

bande_3, rouge

SR_B4

band_4, nir

SR_B5

bande_5, tourbillon_1

SR_B7

bande_7, tourbillon_2

SMAD

smad, sdev, SDEV

EMAD

emad, edev, EDEV

BCMAD

bcmad, bcdev, BCDEV

COMPTER

compter

Les noms de produits et de groupes sont sensibles à la casse.

Pour des exemples sur la façon d’utiliser l’API ODC, voir le dépôt DE Africa example notebook.

Informations techniques

Geomedian

Les composites de pixels sont créés en compilant plusieurs observations satellitaires de la même zone pour former une image représentative. Ils sont devenus un élément essentiel de la recherche sur l’observation de la Terre, car la combinaison des mesures compense les données manquantes, telles que les lacunes causées par la couverture nuageuse. Il en résulte des ensembles de données complets qui permettent une analyse approfondie de vastes zones d’intérêt.

Il existe de nombreuses façons de former cette image. GeoMAD utilise la statistique sommaire geomedian pour combiner six mois ou une année de données en un composite scientifiquement rigoureux. Il produit une observation multispectrale pour chaque pixel de l’Afrique continentale.

The geomedian statistic is sometimes referred to as the « geometric median », as in the figure below. To remove ambiguity with other kinds of statistics with similar names, it is always referred to in DE Africa as the « geomedian ».

Figure 2 : Explication illustrée du géomedien.

Composite géomédiatique

La figure 2 utilise un exemple tridimensionnel pour illustrer comment le géomédian est calculé pour un seul pixel contenant plusieurs mesures de données rouges, bleues et vertes.

  • L’ensemble de données comporte \(N\) pas de temps de données satellitaires. Dans le cas de la figure 2, \(N=20\)

  • Chaque pas de temps contient \(p\) bandes. Dans ce cas, \(p =3\) (une dimension pour le rouge, le vert et le bleu).

  • Chaque pas de temps peut donc être représenté par un vecteur tridimensionnel \(\mathbf{x}\). Un vecteur unique au pas de temps \(t\), \(\mathbf{x}^{(t)}\), ressemble à ceci :

:nbsphinx-math:``begin{align*} mathbf{x}^{(t)} = begin{bmatrix}

x^{(t)}_{rouge} N- x^{(t)}_{verte}N- x^{(t)}_{bleu}}

end{bmatrix} end{align*}`

  • L’ensemble des données peut être représenté comme la collection des vecteurs à chaque pas de temps \(\mathbf{x}^{(1)}, \mathbf{x}^{(2)}, \dots \mathbf{x}^{(20)}\)

Projeté sur un plan, il ressemblera au tracé de la figure 2.2 - vingt points placés en fonction de leurs valeurs de rouge, vert et bleu. Le géomédian de ce pixel est alors le point où la distance euclidienne (distance en ligne droite) entre tous les points de données est minimisée. Ceci est illustré à la figure 2.3 ; pour plus d’informations sur la distance euclidienne, voir la section ci-dessous sur la DAM euclidienne.

Let’s call the geomedian point in this example \(\mathbf{m}_\text{example}\). Euclidean distance between a point \(\mathbf{x}\) and the data points \(\mathbf{x}^{(t)}\) is given by \(\lVert \mathbf{x} - \mathbf{x}^{(t)} \rVert\). The point at which all twenty distances are minimised is found by taking the \(\mathrm{argmin}\); the argument of the minima. The geomedian can then be expressed by the following equation:

:nbsphinx-math:``begin{align*} mathbf{m}_text{example} = underset{mathbf{x} in mathbb{R}^3}{mathrm{argmin}} sum^{20}_{t=1} lVert mathbf{x} - mathbf{x}^{(t)} rVert end{align*}`

Dans cet exemple, le résultat \(\mathbf{m}_\text{example}\), comme tout \(\mathbf{x}\), sera un vecteur tridimensionnel, avec une valeur pour le rouge, le vert et le bleu.

:nbsphinx-math:``begin{align*} mathbf{m}_text{example} =begin{bmatrix}

m_{rouge} \ m_{vert}\N{i1}m_{blue}}

end{bmatrix} end{align*}`

Le point géomédian \(\mathbf{m}\) n’est pas sélectionné parmi les vingt points de données. Il s’agit d’un vecteur distinct avec des valeurs uniques qui ne correspondent pas nécessairement aux valeurs de bande existantes de l’ensemble de données d’observation.

La formule du géomédian d’un seul pixel peut être généralisée pour \(p\) bandes et \(N\) pas de temps, comme indiqué dans Roberts et al, 2017 :

:nbsphinx-math:``begin{align*} mathbf{m} = underset{i} mathbf{x} in mathbb{R}^p}{mathrm{argmin}} sum^{N}_{t=1} lVert mathbf{x} - mathbf{x}^{(t)} rVert end{align*}`

Dans les GeoMADs Sentinel-2, les dix bandes de la géomédia donnent un espace à 10 dimensions - dans les GeoMADs Landsat, les six bandes de la géomédia donnent un espace à 6 dimensions. Il est difficile d’illustrer cet exemple en six (ou dix !) dimensions, mais nous pouvons plutôt fournir l’équation, et la forme du résultat. Ici, le nombre de pas de temps \(N\) varie par pixel ; les pixels sur le chevauchement entre les fauchées de satellites peuvent avoir des \(N\) très grands (jusqu’à environ 140 par an pour les services annuels de Sentinel-2), tandis que les pixels au centre de la trajectoire ne sont observés qu’une fois par survol, et ont des \(N\) plus proches de 70.

:nbsphinx-math:``begin{align*} mathbf{m}_text{GeoMAD} = underset{mathbf{x} in mathbb{R}^{10}}{mathrm{argmin}} sum^{N}_{t=1} lVert mathbf{x} - mathbf{x}^{(t)} rVert = begin{bmatrix}

m_{B02} N- m_{B03}N- m_{B04}N- m_{B05} N- m_{B06}N- m_{B07}N- m_{B08} N- m_{B8A}N- m_{B11}N- m_{B12}

end{bmatrix} end{align*}`

Ce calcul est répété pour chaque pixel de l’étendue spécifiée.

La signification du géomédian est que toutes les bandes sont considérées simultanément. Cela permet de maintenir la relation spectrale entre les bandes, fournissant ainsi la valeur la plus représentative. En outre, la statistique géomédienne réduit le bruit spatial et améliore l’équilibre des couleurs par rapport à des statistiques similaires telles que la médiane ou la médiane.

Le géomedien est donc un ensemble de données de base essentiel pour des applications telles que l’analyse de l’indice de bande sur la végétation, l’eau et la détection des zones urbaines. Il est également utile comme couche de caractéristiques dans les algorithmes d’apprentissage automatique.

DE Africa fournit une visualisation interactive du géomédian disponible sous forme de ``Widget Jupyter Notebook <https://docs.digitalearthafrica.org/en/latest/sandbox/notebooks/Datasets/GeoMAD.html>`__. Elle compare graphiquement le géomédian à une médiane pour un exemple en 3D. Un exemple de capture d’écran est présenté ci-dessous.

Figure 3 : widget de visualisation Geomedian.

Composite géomédiatique

Pour interagir avec le widget, connectez-vous au Digital Earth Africa Sandbox et naviguez dans le dossier Datasets > GeoMAD.

Écarts absolus médians triples (MAD)

Par définition, le géomédian lisse les variations des données satellitaires pour choisir la valeur la plus centrale et la plus représentative. La robustesse du calcul géomédian permet généralement de filtrer les valeurs extrêmes extrêmes hautes et basses. Cependant, il est toujours utile de connaître la variation au sein de l’ensemble de données. Cela se traduit par un ensemble de statistiques de second ordre : les écarts absolus médians (MAD).

Les MAD sont des statistiques de changement basées sur le géomédian. Elles montrent l’ampleur des variations subies par chaque pixel dans le laps de temps donné.

Let us break down the acronym « MAD »; as in the title, it stands for median absolute deviation:

  • Cela implique que nous avons une collection de mesures

  • Nous trouvons ensuite la déviation de chaque mesure par rapport à une valeur de base, en obtenant une déviation pour chaque mesure

  • Ces écarts sont tous des valeurs absolues, de sorte que chaque écart est égal ou supérieur à 0.

  • Nous trouvons ensuite la médiane, ou valeur moyenne, de ces écarts

  • Cela nous donne un écart absolu médian

In this case, our « collection of measurements » is satellite data from each flyover. Even for a single pixel, we have multiple measurements in the time axis: one from every pass.

The « baseline value » is the geomedian, which provides one multispectral result for each pixel.

The « deviations » here are three different distance or dissimilarity values. There are multiple ways of quantifying how change has occurred, so this service computes three different MADs for use in data analysis. We are calculating, in three separate ways, the deviation between the geomedian and a single flyover’s measurement. These three values have been chosen to reflect a range of changes that appear in Earth observation data, and hence this section of the dataset is often referred to as « triple MADs ».

Les trois MAD utilisés en Afrique DE sont :

  • MAD euclidienne, EMAD (basée sur la distance euclidienne)

  • MAD spectrale, SMAD (basée sur la distance cosinus)

  • MAD de Bray-Curtis, BCMAD (basé sur la dissimilarité de Bray-Curtis)

Chacun d’entre eux sera expliqué dans sa propre section ci-dessous. Des exemples de calculs avec des nombres réels se trouvent en annexe.

Note there are many other types of statistical distances and dissimilarities that can be used for median absolute deviation analysis (for example: Manhattan distance, Canberra distance, there are many and they can all be used to calculate a MAD). However, in DE Africa services, the terms « triple MADs » or « MADs » are always specifically referring to the three MADs included in the GeoMAD dataset: EMAD, SMAD, and BCMAD.

MAD euclidien (EMAD)

L’endroit le plus logique pour commencer à réfléchir à l’une des MAD est la MAD euclidienne (EMAD). En effet, l’EMAD provient de la distance euclidienne, et la distance euclidienne peut être expliquée par une analogie physique : c’est la façon dont nous mesurons les distances en ligne droite entre des points. Dans notre monde tridimensionnel, cela peut ressembler à ceci :

Figure 4 : Distance euclidienne en trois dimensions.

Euclidien

In the case of satellite data, we are measuring the Euclidean distance between a pixel’s geomedian value and a single multispectral measurement. The number of dimensions is equal to the number of bands in the data. In the illustration below, \(m\) is the geomedian value and \(\mathbf{x}\) the measured value. In real data, there will be multiple measurements over a time period, so \(t\) is the timestep number, otherwise noted in equations as superscript \((t)\).

Par exemple, si nous disposons de trois bandes de données (rouge, vert et bleu) et de trois pas de temps de données, nous pouvons calculer les distances euclidiennes comme suit :

Figure 5 : Distance euclidienne en trois dimensions sur trois pas de temps.

Euclidien

Chaque pas de temps donne un résultat séparé de distance euclidienne. Ensuite, EMAD est la médiane de toutes ces distances.

Dans la plupart des conditions réelles, il y aura plus de trois pas de temps et plus de trois bandes. Une expression générale de la distance euclidienne pour les bandes \(p\) est donnée comme suit :

:nbsphinx-math:``begin{align*} &text{Distance euclidienne multispectrale pour le pas de temps }t \\=& sqrt{ left( x^{(t)}_{{text{band 1}} - m_{text{bande 1}} right)^2 + left( x^{(t)}_{{text{band{ 2}}) - m_{text{}{i1}bande 2}} right)^2 + dots + left( x^{(t)}_{text{band p}} - m_{text{c} p}} right)^2 }\N =& lVert mathbf{x}^{(t)} - m rVert_{mathbb{R}^p} end{align*}`

Ensuite, EMAD pour \(N\) pas de temps est donné par Roberts et al, 2018, comme la médiane des distances euclidiennes de tous les pas de temps.

:nbsphinx-math:``begin{align*} text{EMAD} = text{median} left( lVert mathbf{x}^{(t)} - mathbf{m} rVert_{mathbb{R}^p}, t = 1, dots , N right} right) end{align*}`

Dans GeoMAD, les MAD sont calculés à partir des mêmes dix bandes utilisées dans la géomédienne, donc \(p=10\). Le résultat de \(\lVert \mathbf{x}^{(t)} - \mathbf{m} \rVert_{\mathbb{R}^p}\) est un scalaire positif, donc \(\text{EMAD}_\text{GeoMAD}\) est un nombre scalaire positif. Comme pour le géomédian, \(N\) dépend du nombre de survols de satellites particuliers à ce pixel.

:nbsphinx-math:``begin{align*} text{EMAD}_text{GeoMAD} = text{median} left( lVert mathbf{x}^{(t)} - mathbf{m} rVert_{mathbb{R}^{10}}, t = 1, dots , N right} right) end{align*}`

The maximum possible value for EMAD depends on the value ranges for each of the bands in the dataset. In the case of GeoMAD, which uses at maximum annual timescales of ten bands of Sentinel-2 data, valid EMAD values range from 0 - 31623.

EMAD est utile pour montrer les changements d’albédo dans les spectres des satellites.

MAD spectrale (SMAD)

La MAD spectrale (SMAD) est basée sur les écarts absolus médians de la distance en cosinus entre les mesures géomédiatiques et individuelles.

En deux dimensions, la distance cosinus peut être comparée graphiquement à la distance euclidienne par la figure suivante :

Figure 6 : Relations relatives entre les distances euclidiennes et cosinusiennes.

Distance cosinus

In a general sense, cosine distance is related to the angle between the two points \(\theta\), while Euclidean distance is related to the straight-line distance between the two points \(d\). Like Euclidean distance, points are more similar when the cosine distance between them is small. The value of the cosine distance is smaller when \(\theta\) is small (i.e. close to 0) or when \(\theta\) is close to 180\(^{\circ}\).

Remarquez que nous pouvons avoir une petite distance cosinusoïdale mais une grande distance euclidienne ; par exemple, si l’angle entre les vecteurs est petit, mais que l’un est beaucoup plus long que l’autre. Il s’agit d’une propriété importante de la distance cosinus (et donc de SMAD) - contrairement à la distance euclidienne, la distance cosinus n’est pas biaisée par la magnitude des mesures.

La distance cosinus est définie plus formellement comme suit :

:nbsphinx-math:``begin{align*} text{Distance cosinus (deux dimensions)} = 1 - frac{x_1 y_1 + x_2 y_2}{ left( sqrt{ left( x_1right) ^2 + left( x_2right) ^2 } right)} left( sqrt{ left( y_1right) ^2 + left( y_2right) ^2 } right)} end{align*}`

Pour plus de deux dimensions, nous pouvons généraliser la formule de la distance cosinus pour un seul pixel. Pour une mesure multispectrale de \(p\) bandes au pas de temps \(t\), \(\mathbf{x}^{(t)}\), et le géomédien au même point \(\mathbf{m}\), la distance cosinus est :

:nbsphinx-math:``begin{align*}small &text{Costdist multispectral}left( mathbf{x}^{(t)}, m right) text{ for timetep } t \\\= 1 - frac{ mathbf{x}^{(t)} cdot mathbf{m} }{ lVert mathbf{x}^{(t)} rVert N- NVert Nmathbf{m} rVert} \N- N- texte{ pour } mathbf{x}^{(t)}, mathbf{m} in mathbb{R}_{p}&= 1 - left( frac{left( x_{text{band 1}}^{(t)} right) left(m_{text{{1}} right) + left( x_{text{2}}^{(t)} right) left(m_{text{band 2}} right) + cdots + left( x_{text{band p}}^{(t)} right) left(m_{text{band p}} right)}{ left(sqrt{left( x_{text{band 1}}^{(t)} right)^2 + cdots+ left( x_{text{band p}}^{(t)} right)^2} right) left( sqrt{left( m_{text{band 1} right)^2 + cdots+ left( m_{text{band p}} right)^2 } right)} end{align*}`

Ensuite, pour \(N\) pas de temps, SMAD est la médiane des distances en cosinus.

:nbsphinx-math:``begin{align*} text{SMAD} = text{médiane} left( left{cosdist}left( mathbf{x}^{(t)}, mathbf{m} right), t = 1, dots , N right} right) end{align*}`

Comme pour les autres distances et dissimilarités utilisées dans les MAD, il en résulte une valeur scalaire positive, donc SMAD est un scalaire positif. Les valeurs valides pour SMAD sont comprises entre 0 et 1.

Dans les applications des données d’observation de la Terre, la SMAD est utile pour montrer les zones de changement de la couverture terrestre. L’une des raisons est que le SMAD est moins affecté par les nuages ; contrairement à l’EMAD, il est invariant aux changements d’albédo, tels que ceux causés par la diffusion du rayonnement solaire. Le SMAD peut également être utilisé pour suivre les plans d’eau, car la réflectance de l’eau varie fortement.

MAD de Bray-Curtis (BCMAD)

La MAD de Bray-Curtis (BCMAD) est calculée à partir de la dissimilarité de Bray-Curtis. La dissimilarité de Bray-Curtis met en évidence les différences dans chaque bande entre la mesure et le géomédien.

Pour une seule bande de données satellite, la dissimilarité de Bray-Curtis ressemble remarquablement à un indice de bande normalisé. Par exemple, si nous n’avions que des données de la bande rouge, cela pourrait ressembler à ceci :

\begin{align*} \text{Dissimilarité de Bray-Curtis monobande au pas de temps }t = \frac{\left| x_{\text{red}}^{(t)} - m_{{text{red}}\right|}{ \left| x_{\text{red}}^{(t)} + m_{{text{red}} \right| } \end{align*}

Il peut être généralisé à un ensemble de données multispectrales avec des bandes \(p\) :

\begin{align*} &\text{Dissimilarité multispectrale de Bray-Curtis pour le pas de temps }t\\\= \frac{\left| x_{\text{band 1}}^{(t)} - m_{\text{\band{\}}\right| + \left| x_{\text{\band 2}}^{(t)} - m_{\text{\}{\i1}de la bande 2}} \right| + \dots + \left| x_{\text{\band p}}^{(t)} - m_{\text{\c} de la bande p}} \right| }{ \left| x_{\text{\}band 1}}^{(t)} + m_{\text{\text{\}} de la bande 1} \right| + \left| x_{\text{\band 2}}^{(t)} + m_{\text{\}{\i1}de la bande 2}} \right| + \dots + \left| x_{\text{band p}}^{(t)} + m_{\text{\}band p}} \right|} \end{align*}

La dissimilarité de Bray-Curtis sera maximisée à une valeur de 1 lorsque les mesures dans chaque bande sont complètement différentes. Inversement, la valeur de la dissimilarité sera faible lorsque l’observation de chaque bande est similaire au géomédien de cette bande.

Comme pour les autres MAD, le BCMAD est trouvé en prenant la médiane de toutes les dissimilarités de Bray-Curtis de \(N\) pas de temps. Pour GeoMAD, \(p=10\).

:nbsphinx-math:``begin{align*} text{BCMAD} = text{median} left( left{frac{left| mathbf{x}^{(t)} - mathbf{m} right|_{mathbb{R}^p}}{left| mathbf{x}^{(t)} + mathbf{m} right| _{mathbb{R}^p}}, t = 1, dots , N right} right) end{align*}`

BCMAD prend les valeurs de 0 - 1.

Annexe

Exemple : calcul de la distance euclidienne

Let’s take a selection of bands from one pixel, from one timestep. For that pixel, we have both the measurements taken by the single satellite flyover, and the geomedian value.

Tableau A.1 : Exemple de données multispectrales - un pas de temps, quatre bandes.

Bande

Mesure de la réflectance de la surface \(x^{(t)}\)

Réflexion de la surface géomédienne \(m\)

Bleu

1028

969

Vert

1468

1406

Rouge

2176

2032

Infrarouge proche (NIR) 1

3090

3078

La distance euclidienne pour ce pixel à ce moment, \(t\), est alors :

:nbsphinx-math:``begin{align*} &text{Distance euclidienne} \N-iny &= sqrt{N-ft( x^{(t)}_{text{{band 1}}) - m_{text{bande 1}} right)^2 + left( x^{(t)}_{text{band{ 2}} - m_{text{}{i1}bande 2}} right)^2 + dots + left( x^{(t)}_{text{band p}} - m_{text{c} p}} right)^2 }\\N &= sqrt{left( x^{(t)}_{text{red}} m_{text{red}} - m_{text{rouge}} right)^2 + left( x^{(t)}_{text{}} vert}) - m_{text{} vert} Droit)^2 + Ngauche( x^{(t)}_{text{} bleu}}) - m_{text{c} bleu}} right)^2 + left( x^{(t)}_{text{{nir1}} - m_{text{nir1}} \N- droite)^2}\N &= sqrt{La gauche( 2176 - 2032 N- droite)^2 + N- gauche( 1468 - 1406 N- droite)^2 + N- gauche(1028 - 969 N- droite)^2 + N- gauche( 3090 - 3078 N- droite)^2}N &= 167.9 N- fin{align*}`

Pour trouver l’EMAD de cet ensemble de données, il faudrait d’abord répéter le calcul de la distance euclidienne pour tous les autres pas de temps (non fournis dans l’exemple de données).

Exemple : calcul de la distance en cosinus

En utilisant l’exemple de données multispectrales du tableau A.1, nous pouvons calculer manuellement la valeur de la distance cosinus pour le pas de temps \(t\).

:nbsphinx-math:``begin{align*} &text{Cosine distance} \N &= 1 - left( frac{left( x_{text{band 1}}^{(t)} right) left(m_{text{a1}} right) + left( x_{text{a1}}^{(t)}) right) left(m_{text{band 2}} right) + cdots + left( x_{text{band p}}^{(t)} right) left(m_{text{band p}} right)}{ left(sqrt{left( x_{text{band 1}}^{(t)} right)^2 + cdots+ left( x_{text{band p}}^{(t)} right)^2} right) left( sqrt{left( m_{text{band 1} right)^2 + cdots+ left( m_{text{band p}} right)^2 } right)} right) \N &= 1 -\N & N frac{left( x_{text{blue}}^{(t)} right) left(m_{text{blue}} right) + left( x_{text{\}}^{(t)}) right) left(m_{text{green}} right) + left( x_{{text{red}}^{(t)}) right) left(m_{text{red}} right) + left( x_{text{nir1}}^{(t)} right) left(m_{text{nir1}} right)}{sqrt{left( x_{text{blue}^{(t)}) right)^2 + left( x_{{text{green}}^{(t)}) Retour)^2 + Ngauche( x_{{text{rouge}}^{(t)}) right)^2+ left( x_{text{{nir1}}^{(t)}) right)^2}sqrt{left( m_{text{blue} right)^2 + left( m_{text{verte} right)^2 + left( m_{text{rouge}} right)^2 + left(m_{text{nir1}right)^2 } }\ &= 1 -\N & N Nfrac{N{c}Gauche( 1028 right) NGauche(969 right) + NGauche(1468 right) NGauche(1406 right) + NGauche(2176 right) NGauche(2032 right) + left( 3090 right) left(3078right)}{sqrt{left( 1028 right)^2 + left( 1468right)^2 + left( 2176 right)^2+ left(3090right)^2} sqrt{left( 969 right)^2 + left(1406 right)^2 + left( 2032 right)^2 + left(3078 right)^2 }\N &=0.0004176 end{align*}`

Exemple : calcul de la dissimilarité de Bray-Curtis

En utilisant l’exemple de données multispectrales du tableau A.1, nous pouvons calculer manuellement la valeur de la dissimilarité de Bray-Curtis pour le pas de temps \(t\).

\begin{align*} &\text{{dissemblance de Bray-Curtis} \\\\N &= \frac{\left| x_{\text{\band 1}}^{(t)} - m_{\text{\c} 1}}\right| + \left| x_{\text{\c} 2}}^{(t)} - m_{\text{\}{\i1}de la bande 2}} \right| + \dots + \left| x_{\text{\band p}}^{(t)} - m_{\text{\c} de la bande p}} \right| }{ \left| x_{\text{\}band 1}}^{(t)} + m_{\text{\text{\}} de la bande 1} \right| + \left| x_{\text{\band 2}}^{(t)} + m_{\text{\}{\i1}de la bande 2}} \right| + \dots + \left| x_{\text{band p}}^{(t)} + m_{\text{\}band p}} \right|} \\\\N- &= \frac{\N-ft| x_{\text{\nir1}}^{(t)} - m_{\text{\nir1}}\right| + \left| x_{\text{\reen}}^{(t)} - m_{\text{\}} vert}} Droite + gauche x_{\text{\c} rouge}^{\c}} - m_{\text{\c}} rouge \Droit| + \NGauche| x_{\text{\c} bleu}}^{\c} - m_{\text{\}} bleu{\}} \right|}{\left| x_{\text{nir1}}^{(t)} + m_{\text{\c}nir1}\right|| + \Ngauche| x_{\text{\c}}^{(t)} + m_{\text{\}} vert{\r}} \Droit| + \NGauche| x_{\text{\c}}^{(t)} + m_{\text{\c} rouge}} \droite| + \Ngauche| x_{\text{\} bleu}^{(t)} + m_{\text{\c} bleu}}. \right|} \\\\N &= \frac{\N- 3090 - 3078\N-right| + \N-ft| 1468 - 1406 \N-right| + \N-ft|2176 - 2032 \N-right| + \N-ft| 1028 - 969 \right|}{\left| 3090 + 3078 \right| + \left| 1468 + 1406 \right| + \left|2176 + 2032 \right| + \left| 1028 + 969 \right|}\\ &= 0.01817 \end{align*}