{"id":9332,"date":"2021-02-23T11:11:16","date_gmt":"2021-02-23T10:11:16","guid":{"rendered":"https:\/\/www.sigterritoires.fr\/?p=9332"},"modified":"2021-02-23T11:11:17","modified_gmt":"2021-02-23T10:11:17","slug":"comparaison-et-selection-de-modeles-integro-differentiels-ide-les-principes","status":"publish","type":"post","link":"https:\/\/www.sigterritoires.fr\/index.php\/comparaison-et-selection-de-modeles-integro-differentiels-ide-les-principes\/","title":{"rendered":"Comparaison et s\u00e9lection de mod\u00e8les int\u00e9gro-diff\u00e9rentiels (IDE): les principes."},"content":{"rendered":"\n

Dans deux articles pr\u00e9c\u00e9dents (Mod\u00e9lisation spatio-temporelle avec une \u00e9quation int\u00e9gro-diff\u00e9rentielle (IDE) avec QGis et R<\/a><\/em> et Mod\u00e9lisation spatio-temporelle avec une \u00e9quation int\u00e9gro-diff\u00e9rentielle (IDE) avec QGis et R(suite<\/a>)<\/em>)nous avons vu comment calculer et ajuster un mod\u00e8le int\u00e9gro-diff\u00e9rentiel \u00e0 un ensemble de donn\u00e9es spatio-temporelles, en utilisant R et QGis.<\/p>\n\n\n\n

Pour le m\u00eame ensemble d\u2019observations nous avons vu que l’on pouvait jouer sur diff\u00e9rents param\u00e8tres, principalement en calculant un noyau du mod\u00e8le invariant dans l’espace ou un noyau variant dans l’espace.<\/p>\n\n\n\n

Les diff\u00e9rents r\u00e9sultats de mod\u00e8les apparaissent, \u00e0 priori, aussi plausibles les uns comme les autres. Nous verrons dans cette article comment \u00e9valuer la qualit\u00e9 du mod\u00e8le pour pouvoir d\u00e9cider lequel retenir.<\/p>\n\n\n\n\n\n\n\n

Comparaison des r\u00e9sultats du mod\u00e8le, mais \u00e0 quoi?<\/h2>\n\n\n\n

Avant de pouvoir parler d\u2019\u00e9valuation des mod\u00e8les, nous devons d\u00e9cider \u00e0 quoi nous comparerons notre mod\u00e8le. Les proc\u00e9dures de mod\u00e9lisation spatio-temporelle hi\u00e9rarchique nous donnent la distribution pr\u00e9dictive du processus spatio-temporel latent, Y , avec un ensemble d\u2019observations (mesures), Z. Comme nous sommes le plus souvent int\u00e9ress\u00e9s par ce processus latent, nous aimerions \u00e9valuer notre mod\u00e8le en fonction de sa capacit\u00e9 \u00e0 fournir des repr\u00e9sentations raisonnables de Y .
Mais par d\u00e9finition, ce processus est cach\u00e9 ou latent \u2013 ce qui signifie qu\u2019il n\u2019est pas observ\u00e9 directement \u2013 et nous ne pouvons donc pas \u00e9valuer directement notre processus mod\u00e9lis\u00e9 par rapport au processus r\u00e9el \u00e0 moins de le faire par simulation. Par ailleurs, nous pouvons \u00e9valuer notre mod\u00e8le \u00e0 l\u2019aide de distributions pr\u00e9dictives de donn\u00e9es, o\u00f9 nous comparons les pr\u00e9dictions de donn\u00e9es (et non de Y), fond\u00e9es sur notre mod\u00e8le, aux donn\u00e9es r\u00e9ellement observ\u00e9es.<\/p>\n\n\n\n

Le plus souvent, nous devrons comparer les observations de validation du monde r\u00e9el, disons Zv, aux observations pr\u00e9dites \u00e0 partir de notre mod\u00e8le, disons Zp. La question maintenant est, \u00e0 quelles observations comparons-nous Zp? La capacit\u00e9 de g\u00e9n\u00e9ralisation d\u2019un mod\u00e8le est une propri\u00e9t\u00e9 qui indique dans quelle mesure il peut pr\u00e9dire un ensemble de donn\u00e9es d\u2019essai (aussi appel\u00e9 ensemble de donn\u00e9es de validation) qui est diff\u00e9rent des donn\u00e9es utilis\u00e9es pour ajuster le mod\u00e8le. (Veuillez noter que les mots \u00ab test \u00bb et \u00ab validation \u00bb sont souvent utilis\u00e9s de fa\u00e7on interchangeable dans ce contexte; nous pr\u00e9f\u00e9rons utiliser \u00ab validation \u00bb.) Donc, supposons que nous avons utilis\u00e9 un \u00e9chantillon de donn\u00e9es, Z, pour ajuster notre mod\u00e8le. Avant de d\u00e9crire les diff\u00e9rentes possibilit\u00e9s de s\u00e9lection des donn\u00e9es de validation Zv, notez que les processus spatio-temporels ont certaines propri\u00e9t\u00e9s qui doivent \u00eatre prises en compte lors de la comparaison des pr\u00e9dictions du mod\u00e8le avec les observations du monde r\u00e9el. En particulier, comme pour les s\u00e9ries temporelles, les processus spatio-temporels ont une d\u00e9pendance unidirectionnelle du temps et, comme les processus spatiaux, ils ont divers degr\u00e9s de d\u00e9pendance spatiale. Ces d\u00e9pendances doivent \u00eatre prises en compte dans la mesure du possible lors de l\u2019\u00e9valuation d\u2019un mod\u00e8le spatio-temporel. En g\u00e9n\u00e9ral, le choix des observations de validation Zv peut alors \u00eatre l\u2019un des suivants.<\/p>\n\n\n\n

Validation \u00e0 partir des donn\u00e9es d\u2019observation<\/h2>\n\n\n\n

Il peut \u00eatre instructif d\u2019utiliser les observations de l\u2019ensemble de donn\u00e9es de calcul (Zv = Z) pour \u00e9valuer notre mod\u00e8le, en particulier lors de l\u2019\u00e9valuation de la capacit\u00e9 du mod\u00e8le \u00e0 s\u2019adapter aux donn\u00e9es et pour v\u00e9rifier les hypoth\u00e8ses du mod\u00e8le au moyen de diagnostics.
Toutefois, dans le contexte de la pr\u00e9vision, il n\u2019est g\u00e9n\u00e9ralement pas recommand\u00e9 d\u2019utiliser les donn\u00e9es de calcul pour valider la capacit\u00e9 pr\u00e9dictive du mod\u00e8le, car l\u2019erreur du mod\u00e8le est g\u00e9n\u00e9ralement optimiste en ce sens qu\u2019elle sous-estime l\u2019erreur pr\u00e9dictive qui serait observ\u00e9e dans un \u00e9chantillon ind\u00e9pendant. Il n\u2019est peut-\u00eatre pas surprenant que l\u2019ampleur de cet optimisme soit li\u00e9e \u00e0 la mesure dans laquelle une valeur pr\u00e9vue de l\u2019ensemble de donn\u00e9es de calcul influe sur sa propre pr\u00e9diction.<\/p>\n\n\n\n

Validation par \u00e9chantillonnage dans les donn\u00e9es d’observation.<\/h2>\n\n\n\n

Il est souvent utile de construire des \u00e9chantillons de validation \u00e0 partir des donn\u00e9es d’observations. Dans le calcul du mod\u00e8le on omet ces \u00e9chantillons qui peuvent correspondre soit \u00e0 des pas temporels complets, soit \u00e0 un \u00e9chantillonnage al\u00e9atoire parmi tous les pas temporels. Bien que cette deuxi\u00e8me solution puisse \u00eatre appropri\u00e9e, une \u00e9valuation plus appropri\u00e9e des mod\u00e8les spatio-temporels r\u00e9sulte de l\u2019omission de \u00ab blocs\u00bb de donn\u00e9es. Ceci est d\u00fb au fait que la structure de d\u00e9pendance spatio-temporelle doit \u00eatre tr\u00e8s bien caract\u00e9ris\u00e9e pour combler ad\u00e9quatement de larges lacunes dans les processus spatio-temporels (processus particuli\u00e8rement dynamiques). <\/p>\n\n\n\n

Validation des pr\u00e9visions.<\/h2>\n\n\n\n

L\u2019une des m\u00e9thodes de validation les plus utilis\u00e9es pour les donn\u00e9es d\u00e9pendantes du temps consiste \u00e0 omettre les donn\u00e9es du dernier pas de temps dans les observations et d’utiliser le mod\u00e8le pour pr\u00e9voir cette p\u00e9riode future. Pour pr\u00e9dire l\u2019\u00e9volution des caract\u00e9ristiques spatiales dans le temps, le mod\u00e8le spatio-temporel doit tenir compte ad\u00e9quatement de la d\u00e9pendance spatio-temporelle . Par cons\u00e9quent, la validation des pr\u00e9visions fournit un \u00e9talon pour de telles \u00e9valuations.<\/p>\n\n\n\n

H\u00e9las,pas de recette<\/h2>\n\n\n\n

La validation et s\u00e9lection d’un mod\u00e8le s\u2019apparente plus \u00e0 un travail de d\u00e9tective qu’\u00e0 l’application d’un protocole. Nous allons suivre ici une d\u00e9marche \u00ab\u00a0type\u00a0\u00bb, en sachant que le type de donn\u00e9es, le nombre d’observations, le nombre de pas de temps, et tant d’autres choses, vous obligeront chaque fois \u00e0 la modifier.<\/p>\n\n\n\n

Mais, m\u00eame si nous n’avons pas de recette, il y a quelques \u00e9tapes incontournables:<\/p>\n\n\n\n

1-Constituer les groupes de donn\u00e9es qu’on utilisera pour la validation et celles qu’on va utiliser pour calculer et ajuster le mod\u00e8le.<\/span><\/strong><\/p>\n\n\n\n

2-calculer et ajuster le mod\u00e8le sur une partie des observations<\/span><\/strong><\/p>\n\n\n\n

3-Effectuer les pr\u00e9dictions pour le ou les groupes de donn\u00e9es de validation<\/span><\/strong><\/p>\n\n\n\n

4-Calculer les scores du mod\u00e8le en analysant les erreurs de pr\u00e9diction sur les donn\u00e9es de validation<\/span><\/strong><\/p>\n\n\n\n

Les \u00e9tapes 2 et 3 nous les avons vues dans les deux articles pr\u00e9c\u00e9dents. Nous allons donc voir la premi\u00e8re et derni\u00e8re \u00e9tape. D’abord d’un point de vue g\u00e9n\u00e9ral, puis on verra l’impl\u00e9mentation en R pour QGis.<\/p>\n\n\n\n

Sous-\u00e9chantillonnage pour la validation<\/h2>\n\n\n\n

Cette \u00e9tape d\u00e9pend des donn\u00e9es sur lesquelles on travaille. Nous continuons \u00e0 travailler sur les donn\u00e9es d’observations de l’oiseau Troglodyte aux \u00c9tats-Unis. Nous avons des observations annuelles sur 21 ann\u00e9es avec une quarantaine de points chaque ann\u00e9e.<\/p>\n\n\n\n

Nous allons extraire une partie des observations que nous laisserons de c\u00f4t\u00e9 lors du calcul du mod\u00e8le. Une fois le mod\u00e8le ajust\u00e9 on calculera les pr\u00e9dictions pour ces observations et nous aurons alors des pr\u00e9dictions et des observations que nous pourrons comparer.<\/p>\n\n\n\n

Selon le but recherch\u00e9 par la mod\u00e9lisation, on choisira une m\u00e9thode d’\u00e9chantillonnage ou une autre.<\/p>\n\n\n\n

Nous allons utiliser ici deux m\u00e9thodes:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Nous allons extraire un pas de temps complet que nous mettrons de c\u00f4t\u00e9 et que nous appellerons par la suite \u00ab\u00a0Bloc\u00a0\u00bb.<\/p>\n\n\n\n

Sur les 20 pas de temps restants, on va extraire de mani\u00e8re al\u00e9atoire, un certain pourcentage d’observations, que nous mettrons aussi de c\u00f4t\u00e9 et que nous appellerons par la suite \u00ab\u00a0Random\u00a0\u00bb.<\/p>\n\n\n\n

Avec toutes les observations restantes (le volume bleu de l’image), nous allons calculer et ajuster le mod\u00e8le.<\/p>\n\n\n\n

La validation sur le pas de temps complet permet d’avoir une id\u00e9e de l’utilit\u00e9 du mod\u00e8le \u00e0 pr\u00e9voir les campagnes d’observations futures.<\/p>\n\n\n\n

La validation sur l’\u00e9chantillonnage al\u00e9atoire permet d’avoir une id\u00e9e de l’utilit\u00e9 du mod\u00e8le \u00e0 \u00ab\u00a0boucher les trous\u00a0\u00bb des observations manquantes.<\/p>\n\n\n\n

Mais, pour l’instant, nous ne faisons que valider notre mod\u00e8le. Comme nous avons vu dans l’article pr\u00e9c\u00e9dent avec les noyaux variant spatialement, nous pouvons aussi avoir diff\u00e9rents param\u00e8tres et donc diff\u00e9rents mod\u00e8les. On aura alors \u00e0 choisir le \u00ab\u00a0meilleur\u00a0\u00bb. Petite digression ici: n’oublions jamais l’aphorisme de Box qui disait que nous savons d\u00e9j\u00e0 que tout mod\u00e8le est faux, mais que ce que nous ignorons c’est \u00e0 quel point il l’est.<\/p>\n\n\n\n

La d\u00e9marche est d’utiliser les m\u00eames groupes de donn\u00e9es (observations,bloc et random) pour calculer chaque mod\u00e8le et d’utiliser les scores de validation de chacun pour comparer et choisir le mod\u00e8le final.<\/p>\n\n\n\n

Analyse des erreurs de pr\u00e9diction<\/h2>\n\n\n\n

Nous allons voir le graphique des pr\u00e9visions en fonction des observations qui permet de visualiser l’ajustement du mod\u00e8le. Malheureusement, notre vue ne suffit pas toujours pour comparer deux nuages de points et choisir celui qui est mieux ajust\u00e9.<\/p>\n\n\n\n

Nous allons donc calculer une s\u00e9rie de \u00ab\u00a0scores\u00a0\u00bb math\u00e9matiques qui vont nous aider \u00e0 d\u00e9cider.<\/p>\n\n\n\n

Corr\u00e9lation observations-pr\u00e9dictions<\/h3>\n\n\n\n

Ce n’est pas tant la valeur de la corr\u00e9lation qui nous int\u00e9resse, m\u00eame si c’est d\u00e9j\u00e0 une indication, mais disons que la visualisation du nuage de point s\u2019apparente plus \u00e0 l’analyse exploratoire qu’\u00e0 la validation \u00e0 proprement parler.<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Elle peut nous permettre de percevoir des probl\u00e8mes ou des artefacts qui seraient difficilement mis en \u00e9vidence par des m\u00e9thodes plus \u00ab\u00a0math\u00e9matiques\u00a0\u00bb.<\/p>\n\n\n\n

Ces m\u00e9thodes sont le calcul de \u00ab\u00a0scores\u00a0\u00bb que nous d\u00e9crivons \u00e0 la suite.<\/p>\n\n\n\n

Le biais et la variance<\/h3>\n\n\n\n

Le biais est l\u2019erreur r\u00e9sultant de la diff\u00e9rence entre la ou les valeurs attendues d\u2019un mod\u00e8le et la ou les valeurs r\u00e9elles (ou \u00ab correctes \u00bb) pour lesquelles nous voulons faire des pr\u00e9dictions sur plusieurs it\u00e9rations. Dans les concepts scientifiques d\u2019exactitude et de pr\u00e9cision, le biais est tr\u00e8s semblable \u00e0 l\u2019exactitude.<\/p>\n\n\n\n

La variance est d\u00e9finie comme l\u2019erreur r\u00e9sultant de la variabilit\u00e9 entre diff\u00e9rentes pr\u00e9dictions de donn\u00e9es dans un mod\u00e8le. En ce qui concerne la variance, la ou les valeurs correctes n\u2019ont pas autant d\u2019importance que l\u2019\u00e9tendue des diff\u00e9rences de valeur entre les pr\u00e9dictions. La variance joue \u00e9galement un plus grand r\u00f4le lorsque nous effectuons plusieurs essais de cr\u00e9ation de mod\u00e8les.<\/p>\n\n\n\n

L’image suivante est tr\u00e8s parlante. La cible est l’objectif de notre mod\u00e8le. Les impacts sont les pr\u00e9dictions de notre mod\u00e8le.<\/p>\n\n\n\n

\"\"<\/a>
Cross Validation: A Beginner\u2019s Guide de Caleb Neale, Demetri Workman, Abhinay Dommalapati
https:\/\/towardsdatascience.com\/cross-validation-a-beginners-guide-5b8ca04962cd<\/a><\/figcaption><\/figure>\n\n\n\n

Il est clair que ce que nous recherchons c’est le mod\u00e8le avec le biais et la variance la plus petite.<\/p>\n\n\n\n

Nous allons calculer trois scores:<\/p>\n\n\n\n