Évaluation du projet Mosaïque dans le département du Doubs

La méthode Catalyse a été conçue, élaborée et expérimentée avec succès dans le cadre de l’action « Mosaïque », action modèle (AM15) du « troisième programme européen de lutte contre la Pauvreté », de 1989 à 1993, prolongé jusqu’en 1995 par le programme européen d’intégration économique et sociale « Horizon ».

Cette action visait à favoriser l’intégration économique et sociale des groupes « les moins défavorisés » en promouvant l’action « concertée », le partenariat multisectoriel des acteurs à l’échelle d’un territoire, en l’occurrence le département du Doubs. Les groupes les « moins favorisés », selon le terminologie européenne de l’époque, étaient constitués de précaires et d’exclus de la crise économique, sociale et énergétique qui frappait durement l’Europe, notamment les anciennes régions sidérurgiques, depuis la seconde moitié des années 70, pour lesquels le « welfare state », les systèmes de protections sociales institués après la seconde guerre mondiale, montrait ses limites.

La méthode Mosaïque, qui deviendra ultérieurement la méthode Catalyse, est une méthode dite d’auto-évaluation qui vise à impliquer les acteurs dans l’évaluation de leur action.
La particularité de cette « action concertée », est d’être un projet temporaire, visant un résultat concret, défini par un objectif concerté, selon une stratégie définie conjointement de façon à coordonner l’utilisation de leurs ressources.

L’évaluation doit également prendre en compte les critères des financeurs.

Les critères européens étaient affichés dans l’appel à projet : approche globale, partenariat et participation. Ce sont pratiquement les même que ceux de l’action concertée qui réunit au sein d’un partenariat et autour d’un projet des acteurs publics et privés, appartenant à divers secteurs d’activité différents, donc dans une logique multisectorielle d’approche globale.

Pour le département du Doubs, qui assurait le cofinancement, l’accent était principalement mis sur l’insertion professionnelle et sociale, dans l’esprit du RMI, avec une priorité pour l’emploi.
Une évaluation « externe » était également assurée par deux experts européens, appartenant l’un à la Fondation Abbé-Pierre et l’autre au Centre d’Études de l’Emploi, qui assuraient un suivi permanent de l’action modèle.

Le projet AM-15, avait comme les 40 actions modèles du « troisième programme européen de lutte contre la Pauvreté », un évaluateurs interne. Sur sa proposition, les acteurs ont opté pour un système d’évaluation enchaînant chaque année un diagnostic et une évaluation concernant les personnes accueillies dans le programme.

La première année a ainsi été consacrées à la définition des outils et une analyse d’un échantillon bénéficiaires du RMI a fourni un premier diagnostic, Chaque année suivante se concluait pas une évaluation de l’année et un diagnostic pour l’année suivante. La dernière année (1994) s’est conclue par une évaluation dont vous trouverez le bilan quantitatif ci-joint (4 pages) et par un diagnostic étendu au département du Doubs dans le cadre du plan départemental d’insertion où vous trouverez l’ensemble des éléments et surtout l’analyse qualitative (20 pages).

Dans la mesure où il existait peu de données statistiques sur les groupes vulnérables, un guide de diagnostic et d’évaluation a été conçu pour que les acteurs puissent recueillir les données sur les personnes accueillies dans l’une des actions du projet. Ce guide s’inspirait du dossier social utilisé par la plupart des services et qui servait essentiellement au suivi et à l’évaluation individuelle de l’évolution des personnes. Il s’inspirait également du bulletin statistiques du RMI, qui visait à fournir, d’une part, une aide au diagnostic en vue de l’élaboration du contrat d’insertion cosigné par l’accompagnant et la personne, et d’autre part, des éléments quantitatifs et qualitatifs pour l’évaluation.

Il permet de réaliser avec la personne, de façon participative, un diagnostic et une évaluation individualisée. Le regroupement des informations individuelles concernant les personnes accueillies par une action fournissait les statistiques utiles à l’évaluation de cette action par cette action. L’ensemble de ces informations étaient ensuite agrégées (en tenant compte des « doublons » personnes suivies par deux ou plusieurs services qui pouvaient donner lieu à plusieurs guides) au niveau du projet pour une évaluation de niveau territorial dans la mesure ou le projet était défini à l‘échelle du département du Doubs.

Parallèlement ont également été constitués :

• Un répertoire des services impliqués dans l’insertion économique et sociale dans le département du Doubs. Il était géré à l’aide d’une base de données et publié sous la forme d’un classeur.

• Un système d’indicateurs territoriaux, dit « contextuels » dans la mesure où ils devaient permettre de situer les groupes observés par les acteurs par rapport aux indicateurs territoriaux du département. Ces indicateurs étaient conservés dans une base de données interactive (zones – indicateurs)

Les informations figurant dans le guide et le répertoire, ainsi que les indicateurs ont été définis ou sélectionnés par les acteurs. Ces derniers ont ensuite collecté les informations en réalisant les diagnostics et les évaluations à l’échelle individuelle.

Les analyses statistiques étaient réalisées par une équipe spécialisée, les acteurs étant associés à l’interprétation des diagnostics et des évaluations réalisées au niveau de chaque action participant au projet local, puis au niveau de ce projet. Ils participaient notamment à l’agrégation des données pour regrouper en un seul guide, les guides relatifs à une même personne suivie par plusieurs actions. En effet seul les acteurs pouvaient identifier les personnes qui étaient

Nous nous intéresserons ici aux résultats de l’évaluation conduite avec les informations collectées au moyen des guides de diagnostic et d’évaluation. Cette évaluation a été sélectionnée pour être présentée comme bonne pratique en clôture du « troisième programme européen de lutte contre la Pauvreté » à la Commission Européenne à Bruxelles.

Nous présentons également le guide de diagnostic et d’évaluation qui a été défini à la suite ces premières utilisations de la méthode Catalyse, la notice définissant les contenus du guide et la notice du logiciel (à titre indicatif, cette version ne fonctionne plus, elle a été remplacée par Pragma disponible sur Catalyse community)

Evaluation quantitative de l’action modèle AM-15 Mosaïque

Les quatre tableaux suivants résument les indicateurs sélectionnés fin 1994, au terme des cinq années du « troisième programme européen de lutte contre la Pauvreté », sachant que la première année a été consacrée à la réalisation des outils, et que les périodes de ce programmes étaient à cheval sur les années civiles.

Il n’y a pas de guide de référence dans la mesure où ce guide a évolué au cours du projet. La sélection présentée correspond aux questions qui figurent sur les différents guides et qui présentent un bon niveau de qualité pour l’ensemble des périodes. Les premières périodes annuelles, notamment les deux premières, ont été des périodes d’expérimentation qui ont permis de stabiliser le guide, d’une part, et de parvenir à un niveau de qualité des données acceptable, d’autre part. Le guide stabilisé a été publié en 1996, avec une notice concernant le logiciel et une autre concernant les contenus (cf. partie 3).

---

• Voir Diagnostic PDI94
  
• Voir Projet new Life

---

---