Comment le WLCE Index mesure

Comment les règles tiennent compte de la vie des femmes, et ce que les femmes reçoivent réellement

Pour les chercheuses et chercheurs Glossaire

Mesure appariée (paired measurement) :
une décision, mesurée deux fois

Une règle accorde à une femme un congé, une pension, un rendez-vous médical ou un prêt. L'Index la compare à une référence et à ce que cette femme a réellement reçu.

Le Women's Life-Cycle Economy Index (WLCE Index), que Womafreesm développe, évaluera le contenu des règles et les résultats de leur application tout au long de la vie des femmes. Pour chaque décision, les chercheuses et chercheurs compareront la règle à une référence externe, puis ce qu'elle prévoit à l'expérience des femmes. L'absence de mécanisme et les lacunes dans les données sont signalées séparément.

Ces deux comparaisons d'une même décision forment une mesure appariée, l'unité de l'Index. Un Point non pris en compte (Unconsidered Point) est un point du cycle de vie d'une femme où le système ne l'a pas vue lorsqu'il a conçu la règle. Il apparaît dans trois cas, qui peuvent se cumuler : la règle reste en deçà de la référence, la règle existe mais la femme n'en a pas bénéficié, ou il n'existe aucune règle. L'Index le présente sous forme de deux distances : le Déficit de prise en compte (Consideration Deficit), de la référence à la règle, et le Refus silencieux (Silent Denial), de la règle à ce que la femme a reçu.

Prenons le congé de maternité rémunéré dans un pays. La loi est l'un des volets de la paire, et la référence est ici d'au moins 14 semaines selon la Convention 183 de l'OIT. Ce que les femmes de ce pays qui ont accouché ont réellement reçu constitue l'autre volet. Si le pays n'a pas de telle règle, son absence est vérifiée dans les sources et au regard d'autres moyens de garantir le même droit, et la valeur est enregistrée selon une règle de codage qui sera publiée avant le pilote.

Le volet institutionnel enregistre ce que la règle prévoit, par qui, pour combien de temps, à quelles conditions et dans quel document, avec la source et la date. Une règle manquante est enregistrée avec le même niveau de détail : ce qui a été recherché, dans quelles sources et à quelle date, pour que le zéro soit un fait vérifiable.

Le volet expérience enregistre ce qui est arrivé à la femme concernée par la décision : si elle connaissait son droit, si elle a pu l'exercer et ce que cela lui a coûté. Là où aucune règle n'existe, ce volet enregistre ce qui lui est arrivé sans règle et ce qu'elle a utilisé pour pallier cette absence.

Une enquête seule montre ce que les femmes déclarent. Une loi seule montre ce qui est écrit dans le texte. La prise en compte institutionnelle est la comparaison des deux volets, et c'est ce que l'Index mesure. La comparaison peut aussi montrer que la règle correspond à la référence et qu'elle est appliquée. Une insuffisance par rapport à la référence et un écart d'application peuvent survenir dans une même décision, et tous deux sont enregistrés séparément.

Chaque mesure appariée (paired measurement) est décrite par trois coordonnées.

Étape du cycle de vie

Le moment de sa vie où la décision s'est présentée : grossesse et accouchement, rétablissement après l'accouchement, soins aux enfants et aux proches âgés, pause de carrière, retour au travail, ménopause, âge avancé et migration à l'étranger.

Système de décision

Là où la règle s'applique : le marché du travail, la santé, la protection sociale et les retraites, le droit, la finance et l'assurance, l'IA et les systèmes numériques, le marché. Cette coordonnée indique à qui s'adresser pour une correction.

Fonction de décision

L'action que le système accomplit ici pour une femme : il accorde l'accès, alloue, indemnise, protège ou reconnaît. Une prestation peut être approuvée (accès) alors que son versement est nul (indemnisation).

Exemple hypothétique :
le congé et une référence de 14 semaines

Prévu par la règleReçu en pratiqueCe que montre la comparaison
14 semaines14 semainesSur cette mesure, la règle correspond à la référence et elle est appliquée
14 semaines8 semainesUn écart apparaît dans l'application de la règle
8 semaines8 semainesLa règle est appliquée, mais son contenu reste en deçà de la référence
8 semaines6 semainesIl y a une insuffisance par rapport à la référence et un écart d'application supplémentaire

Une seule mesure, la durée du congé de maternité, face à une référence de 14 semaines. Ce que montre la comparaison des deux volets.

La première distance, entre la référence et la règle, montre le Déficit de prise en compte (Consideration Deficit). La seconde, entre la règle et ce qui a été reçu, montre le Refus silencieux (Silent Denial). Une seule soustraction masquerait la troisième ligne : la règle et la pratique coïncident, et pourtant la femme reçoit moins que la référence.

Pourquoi l'Index présente deux distances

Une seule soustraction, la règle moins la pratique, masque le pire des cas.

Là où la loi est faible et la pratique tout aussi faible, la différence est nulle, et zéro se lirait comme « aucun écart ».

L'Index présente donc deux distances. La première se mesure sur la règle elle-même. La seconde se mesure sur le chemin qui va de la règle à la femme.

Entre le droit et le résultat, il y a une chaîne de quatre maillons, et une perte est attribuée à l'un d'eux.

Nommer le maillon permet de transformer un constat en quelque chose qu'un ministère ou un employeur peut corriger. La différence entre ce qui était prévu et ce qui a été reçu n'explique pas à elle seule la cause : attribuer un cas à un maillon demande des informations supplémentaires. Les règles applicables aux cas où plusieurs maillons sont touchés, ou lorsque les données ne suffisent pas à établir la cause, feront partie de la méthodologie.

Reconnaissance

le système voit que cette femme remplit les conditions.

Ouverture du droit

le droit lui est formellement accordé.

Capacité opérationnelle

le système est en mesure de le rendre effectif.

Recours

elle en fait réellement usage.

Déficit de prise en compte (Consideration Deficit)

Dans quelle mesure une règle institutionnelle reste en deçà de la référence, avant même que quiconque tente de l'utiliser. La règle elle-même a été conçue pour moins qu'une vie entière. Cette distance se mesure sur la seule règle, par rapport à la référence indiquée sur la fiche de mesure, avant qu'aucune femme ne soit interrogée.

Exemple : la référence pour la protection de la maternité est d'au moins 14 semaines de congé de maternité selon la Convention 183 de l'OIT. Une loi qui prévoit moins de semaines présente un Déficit de prise en compte avant même qu'une seule femme demande un congé.

Refus silencieux (Silent Denial)

Le droit existe, la femme n'en a pas bénéficié, et aucun refus n'a jamais été prononcé. Il se mesure comme la distance signée entre ce que la règle prévoit et ce qui a été reçu, attribuée au maillon où la perte s'est produite : reconnaissance, ouverture du droit, capacité opérationnelle ou recours.

Le signe compte. Positif : la femme a reçu moins que ce que la règle prévoit. Négatif : la pratique va plus loin que la loi, par exemple lorsqu'un employeur accorde plus de congé que la loi n'en exige. Cela arrive, et cela doit rester visible.

La recherche sur les prestations sociales utilise le concept de non-recours : la situation dans laquelle des personnes qui ont droit à une prestation n'en bénéficient pas. Ses causes peuvent tenir à l'information, aux procédures, au fonctionnement des organisations et à la situation de la personne. La méthodologie du WLCE Index décrira séparément le lien entre la mesure du Refus silencieux (Silent Denial) et ce concept, ainsi que les domaines dans lesquels elle s'applique.

Le zéro peut signifier deux choses différentes : une règle qui fonctionne, ou une règle et une pratique qui échouent ensemble.

Règle manquante, lacune de données et référence manquante

Une règle qui n'existe pas décide aussi de sa vie.

L'absence d'un mécanisme est enregistrée après vérification des sources pertinentes et des autres moyens de garantir le même droit ou la même possibilité. La valeur de la mesure sera fixée par une règle de codage publiée à l'avance. Les lacunes dans les données et l'absence de référence approuvée sont signalées séparément.

La méthodologie distingue quatre états :

L'absence d'un mécanisme prévu par la méthodologie est confirmée

Le résultat de la vérification selon la règle de codage établie.

L'information sur le mécanisme n'a pu être trouvée ou confirmée qu'en partie

Une lacune de données.

La mesure n'a pas de référence approuvée dans la méthodologie du WLCE Index

Une question méthodologique ouverte ; une telle mesure appariée (paired measurement) est publiée comme lacune, avec une note.

La mesure ne relève pas du champ de la décision concernée

Sans objet, avec une explication.

Les règles de codage des quatre états seront publiées avec la formule préliminaire avant le pilote. La carte des Points non pris en compte (Unconsidered Point) montre à la fois l'absence confirmée d'un mécanisme et les lacunes.

Pour chaque mesure, il est décidé à l'avance qui entre dans le calcul et pourquoi.

La recherche examine séparément la couverture par la règle, l'accès à la demande et l'obtention du résultat : cela montre à quelle étape les femmes sortent du processus prévu par la règle. Le congé après l'accouchement se mesure parmi celles qui ont accouché. Les droits à la retraite pour les années de soins, parmi celles qui se sont occupées d'un proche. Le dépistage, parmi les femmes de l'âge auquel il s'adresse. Le crédit, parmi les femmes qui en avaient besoin, y compris celles que des obstacles ont empêchées de faire une demande.

Prenez un groupe plus large ou plus étroit, et le chiffre décrit d'autres femmes sans que l'erreur soit remarquée.

Quatre niveaux,
chacun estimé séparément

Une loi existe au niveau d'un pays. Une politique RH existe au niveau d'une organisation. Un système d'IA existe au niveau d'un produit. La réponse d'une femme existe au niveau d'une personne. Chaque mesure appariée (paired measurement) au niveau d'un pays est donc d'abord estimée, avec sa propre marge d'erreur, et n'entre qu'ensuite dans le score global qui combine les différentes mesures.

Les réponses individuelles peuvent être reliées aux caractéristiques d'un pays, d'une organisation ou d'un produit. L'analyse tient compte des informations qui relèvent de chaque niveau et des observations qui sont liées entre elles : une valeur nationale répétée dans des milliers de questionnaires reste une seule observation au niveau du pays. Une moyenne des réponses des femmes décrit des femmes, et non le texte d'une loi, et une moyenne nationale ne dit rien d'une femme en particulier.

C'est pourquoi le lien entre une règle et ce qui est arrivé aux femmes est étudié sur des données pseudonymisées au niveau de chaque femme, dans l'environnement de recherche sécurisé, avec un modèle qui maintient les niveaux séparés.

D'où vient le volet institutionnel

Le volet institutionnel est codé à partir de sources publiées : chaque règle est transposée dans les champs de la fiche à partir d'un document nommé.

Les données de bases externes sont utilisées après vérification de leur concordance avec la définition de la mesure, le groupe étudié et la période d'observation. Pour chaque enregistrement, une référence à la source et une description des conversions nécessaires sont conservées. Le programme code lui-même les règles que ces bases ne couvrent pas.

C'est pourquoi l'audit des systèmes d'IA propre à l'Index et la carte des lois et des règles font partie du calcul lui-même : ils fournissent le volet institutionnel de chaque paire.

La méthodologie propre de l'Index définit sa couverture par pays.

Comment le WLCE Index se compare aux autres indices

Neuf sous-indices issus d'une seule matrice

La couche de base est une matrice : un tableau avec les étapes du cycle de vie sur le côté, les systèmes de décision en haut et une mesure appariée (paired measurement) à chaque intersection.

Les neuf sous-indices sont des mesures thématiques calculées à partir de ce système commun de mesures. Chacun rassemble les mesures appariées d'un même thème, comme la charge de soins, pour toutes les étapes et tous les systèmes, de sorte que chaque sous-indice renvoie aux mêmes mesures. Leurs noms de travail figurent dans le glossaire ; les noms et définitions définitifs seront publiés avec la note méthodologique du pilote.

Les deux vues seront publiées, la matrice et les neuf sous-indices, pour qu'une lectrice ou un lecteur puisse demander soit « À quel moment de sa vie sort-elle du calcul ? », soit « Quel est le score de ce pays pour la charge de soins ? » Chaque indicateur porte une étiquette d'étape et une étiquette de système, de sorte que les deux vues proviennent des mêmes données, codées une seule fois.

Cinq décisions fixées dans la formule avant la vague mondiale

Une formule préliminaire et son plan de vérification seront publiés avant le pilote ; la version 1, préparée après le pilote, est fixée avant la première vague d'enquête mondiale, pour qu'elle puisse être critiquée avant l'apparition du premier résultat. Ensuite, tout changement devient une nouvelle version numérotée, avec une explication publique des raisons.

Encore en cours d'élaboration, et attendus dans la formule préliminaire avec un exemple numérique détaillé : la manière dont le Déficit de prise en compte (Consideration Deficit) et le Refus silencieux (Silent Denial) sont convertis sur une échelle de 0 à 100 et combinés au sein d'une mesure appariée (paired measurement), le traitement d'une valeur négative de la mesure du Refus silencieux, le traitement d'une référence manquante et des lacunes de données, et la manière d'éviter le double comptage d'une même mesure dans plusieurs sous-indices.

Un score que l'on peut décomposer est un score que l'on peut défendre.

Chaque score peut être décomposé. Le score d'un pays peut être retracé jusqu'aux indicateurs individuels dont il provient, et l'Index est confronté aux indicateurs externes existants par corrélation et régression : là où il concorde avec eux et là où il s'en écarte.

Ce qui sera publié pour chaque pays

  1. Le score, avec deux intervalles d'incertitude

    Un intervalle qui tient compte de la façon dont les participantes ont été sélectionnées, de la taille de l'échantillon et des pondérations appliquées, et une plage de résultats selon les variantes de calcul testées.

  2. Une plage de positions possibles

    Au lieu d'une position exacte unique.

  3. Probabilité de se classer dans un groupe de pays

    La part des scénarios de calcul testés dans lesquels le pays se classe dans chaque groupe (palier) de la comparaison.

  4. La carte des Points non pris en compte (Unconsidered Point)

    Par étape du cycle de vie : là où la situation des femmes sort du calcul.

  5. Le maillon où la perte s'est produite

    Pour chaque constat, le maillon de la chaîne : reconnaissance, ouverture du droit, capacité opérationnelle ou recours.

Lorsque trop peu de femmes sont passées par une décision pour que l'estimation soit fiable, le résultat sera publié avec la mention « données insuffisantes pour une estimation fiable ».

Un pays entre dans la comparaison à quatre conditions : un échantillon probabiliste (un échantillon distinct de femmes de ce pays, sélectionnées au hasard et à part de l'enquête ouverte), la suffisance des données, leur qualité et leur comparabilité.

L'enquête ouverte apporte l'étendue, les sous-groupes et les situations rares ; l'échantillon probabiliste donne l'estimation nationale. Un pays qui n'a pas passé la vérification aura un profil et une carte des Points non pris en compte (Unconsidered Point), et sa place dans la comparaison attendra que les conditions soient remplies.

Ce que dit réellement chaque chiffre

L'Index dit exactement ce qu'il a mesuré, et chaque chiffre s'accompagne d'une note sur les éléments sur lesquels il repose.

Une vague d'enquête montre la situation au moment de l'enquête : ce que la règle prévoit et ce qu'ont reçu les femmes concernées. Des enquêtes répétées permettront d'étudier l'évolution dans le temps. La possibilité d'estimer l'effet causal d'une décision donnée dépendra de la conception de l'étude et des hypothèses de l'analyse.

Les documents d'un système d'IA et son comportement sont notés séparément : le fait que le système dispose des procédures requises est un score, et ce qu'il fait réellement avec les femmes en est un autre. Le respect des exigences d'un régulateur compte pour le premier score, et le second montre si les deux concordent.

Le pilote de l'année 1 teste l'instrument lui-même, notamment si les questions mesurent ce qu'elles prétendent mesurer, si elles fonctionnent de la même manière selon les pays et les langues, et à quel point les positions des pays sont stables.

Pour chaque pays, l'Index publiera un score avec ses intervalles d'incertitude, une plage de positions possibles et la probabilité de se classer dans un groupe de pays, plutôt qu'une place exacte dans un tableau : c'est ce qui garde le chiffre honnête. Les poids sont un choix de valeurs, annoncé à l'avance dans la note méthodologique et ouvert à la contestation, là et à travers le rapport d'un auditeur statistique externe, qui sera publié avec l'Index.

FAQ

1. Quelle est l'unité de mesure du WLCE Index ?

Une mesure appariée (paired measurement) : une décision institutionnelle mesurée deux fois, telle que la règle est écrite et telle que l'a vécue la femme concernée. Lorsque la règle est en deçà de la référence, ne l'atteint pas ou n'existe pas, la mesure appariée enregistre un Point non pris en compte (Unconsidered Point), l'unité d'observation de l'Index : un point du cycle de vie d'une femme où le système ne l'a pas vue lorsqu'il a conçu la règle.

2. Qu'est-ce qu'une Fonction de décision dans le WLCE Index ?

La réponse sera bientôt publiée ici.

3. Pourquoi le WLCE Index présente-t-il deux distances plutôt qu'un seul écart ?

La réponse sera bientôt publiée ici.

4. Qu'est-ce que le Refus silencieux (Silent Denial) dans le WLCE Index ?

La réponse sera bientôt publiée ici.

5. D'où le WLCE Index tire-t-il ses données institutionnelles ?

La réponse sera bientôt publiée ici.

6. Comment les scores des pays sont-ils séparés des réponses individuelles ?

La réponse sera bientôt publiée ici.

7. Quand la formule du WLCE Index sera-t-elle fixée ?

La réponse sera bientôt publiée ici.