Dossier de soumission
Le dossier de soumission est constitué de deux parties distinctes :
- Le formulaire à remplir en ligne, appelé Partie A, qui couvre les aspects administratifs liés au dossier ;
- Le projet scientifique détaillé, appelé Partie B, dont le nombre de pages maximum varie en fonction du type d’action et du type de procédure (une ou deux étapes) de l’appel à projet concerné :
Pour la première étape des appels à projets en deux étapes :
- RIA, IA, CSA : dossier de 10 pages maximum
Pour les appels à projets en 1 seule étape et pour la deuxième étape des appels à projets en 2 étapes :
- RIA, IA : dossier de 45 pages maximum
- CSA : dossier de 30 pages maximum
Partie administrative (Partie A)
La partie A est un formulaire à remplir en ligne en interaction étroite avec l'institution d'accueil qui dispose de tous les outils pour aider le candidat ; il contient l'ensemble des informations administratives et budgétaires sur le projet :
Informations générales : titre et acronyme du projet, durée, mots clef et résumé ;
Participants : liste des organisations impliquées dans le consortium et données associées : Statut légal, numéro d'identification (PIC), département concerné, personne contact ;
Liste des chercheurs impliqués, rôle de l’organisation dans le projet et description de l’expérience en lien avec l’appel à projets (publication, activités et/ou projets précédents, équipement et/ou infrastructures disponibles pour réaliser les activités de recherche) ;
Déclaration relative à l'existence d'un plan d'égalité de genre de l’organisation (devenu obligatoire) ;
Budget : Tableau détaillé selon les différentes catégories de coûts éligibles (personnel, sous-traitance, frais de mission, consommables, etc.) qui sera mis à disposition des évaluateurs et doit donc être en cohérence avec les besoins du projet ;
Éthique et sécurité : Questionnaires d'auto-évaluation sur les questions éthiques (voir la section dédiée à cet aspect) et de sécurité, à remplir dès que la thématique du projet s'y prête : ces aspects n'interviennent pas de manière directe lors de l'évaluation mais seront ensuite vérifiés en détail par un comité si le projet est retenu ;
Autres questions : des questions additionnelles notamment pour la deuxième étape des appels en deux étapes (changements apportés par rapport au dépôt de la première étape).
Partie scientifique (Partie B)
La partie B permet de décrire l’aspect technique de la proposition et est découpé en 3 parties qui correspondent aux trois critères d’évaluation qui sont détaillés dans la partie « évaluation » ci-dessous :
- Excellence
- Impact
- Mise en œuvre
Le modèle du dossier de soumission détaille les attendus de chacune des parties et il convient de respecter la trame proposée pour faciliter le travail des experts car elle correspond aux critères qu’ils doivent évaluer.
Évaluation
Règles générales
Dès que la date limite des appels à propositions est passée, la CE procède à la vérification de l’éligibilité des projets : un consortium doit être composé au minimum de trois entités établies dans trois Etats membres de l’Union Européenne ou pays associés au programme Horizon Europe différents, dont au moins un membre de l’UE.
Chaque proposition éligible est évaluée par un panel d’experts indépendants dans les domaines couverts par l’appel à propositions (voir l'article « Devenez expert-évaluateur auprès de la Commission européenne »)
Les experts attribuent une note à chaque proposition sur la base des critères suivants : l'excellence, l'impact, la qualité et l'efficacité de la mise en œuvre. Chaque critère est noté sur 5 (même pondération) avec une note globale sur 15.
Pour être éligibles au financement, les propositions doivent obtenir au moins 4/5 aux critères Excellence et Impact, au moins 3/5 au critère Mise en œuvre et une note globale de 12/15.
L'attribution d'une subvention aux propositions les mieux classées s'effectue sur la base du classement et des budgets disponibles.
Voir la fiche du PCN Juridique et financier pour la procédure d’évaluation complète.
Critères en cas d’égalité
En cas d’égalité, les propositions seront départagées selon les critères suivants (Voir annexes générale, section F), dans l’ordre :
- Les propositions qui couvrent des aspects de l’appel à projet qui n’ont pas été traités par les propositions mieux classées seront prioritaires.
- Si nécessaire, la note attribuée au critère Excellence sera prioritaire sur les autres notes pour départager les propositions restantes. Si les notes Excellences sont identiques, la sélection sera alors basée sur le critère Impact (Pour les actions de type Innovation (IA), c’est la note Impact qui est regardée en premier).
- Si nécessaire : la parité des genres parmi le personnel cité dans la proposition et responsable de la réalisation des activités de recherche (liste des chercheurs indiquée dans la Partie A de la proposition) sera utilisée comme critère de priorisation.
- Si nécessaire, les propositions seront départagées en fonction de leur diversité géographique, définie comme le nombre de pays représentés dans le consortium et qui ne reçoivent pas de budget dans les propositions mieux classées (si égalité en nombre alors la sélection se fera sur le budget).
- En dernier lieu, si une sélection doit encore être faite, le panel décidera de façon à améliorer le portefeuille de projets par des synergies entre les projets ou d’autres facteurs.
Conseil PCN : Attention, les trois critères d’évaluation et l’excellence du projet et des partenaires restent prioritaires. Il n’est pas recommandé d’inclure une parité « artificielle » ou un pays moins présent dans les projets européens au détriment de la qualité du partenaire.
Excellence
Pour évaluer l'excellence d'un projet, les experts-évaluateurs vont notamment apprécier les aspects suivants :
- la clarté et la pertinence des objectifs et dans quelle mesure le projet est ambitieux et va au-delà de l’état de l’art ;
- la crédibilité de l'approche méthodologique proposée, notamment les concepts sous-jacents, les hypothèses, les modèles et l’approche interdisciplinaire ;
- la considération appropriée du genre dans le contenu de la recherche ;
- la qualité des pratiques de science ouverte, notamment l’engagement des citoyens/patients, de la société civile et des utilisateurs finaux et de la gestion et du partage des données de la recherche
Lorsque cela est pertinent pour l’appel à projets concerné, les essais cliniques et les outils d’intelligence artificielle font l’objet d’une attention particulière de l’évaluation de la méthodologie.
Impact
En vue de répondre à ce critère, les experts évaluent notamment les aspects suivants :
- la crédibilité et la manière dont le projet répond aux « expected outcomes » spécifiés dans l’appel à projet (Chemin vers l’impact – Pathway to impact) ;
- l'échelle et l'importance des contributions et impacts attendus du projet ;
- la qualité des mesures visant à maximiser l'impact du projet, telles que prévues dans le plan d'exploitation et de diffusion des résultats, y compris les activités de communication.
Qualité de la mise en œuvre
Pour le critère de qualité de mise en œuvre, les experts-évaluateurs évaluent notamment les aspects suivants :
- la qualité et l’efficacité du plan de travail (work plan) et l'adéquation de la répartition des tâches et ressources ;
- l'évaluation des risques ;
- la capacité et le rôle de chaque participant, leur complémentarité, ainsi que la qualité du consortium dans son ensemble.
Analyse des ESR
Le PCN Santé a effectué une analyse des rapports d’évaluation (Evaluation Summary Report – ESR) des appels à projets 2021 du Cluster Santé qui a été présentée lors d’un wébinaire dédié.
Remarques générales
Lors de l’appel 2021, 41% des propositions RIA étaient sous le seuil de 10/15 (note seuil applicable pour les appels 2021 et 2022, elle sera de 12/15 pour les appels 2023 et 2024) et 61% si l’on regarde la note seuil de 12/15.
On peut noter que les trois critères ont une valeur équivalente et qu’il est très important de ne pas en négliger un par rapport aux autres : des projets avec une notre maximale sur le critère excellence n’ont pas été financés car l’impact ou la mise en œuvre étaient trop faibles ou encore des projets avec une note d’impact maximale n’ont pas été retenus en raison d'une note sur le critère excellence trop faible.
Les critères les plus commentés de manière générale sont les suivants :
- Crédibilité de la méthodologie (Excellence)
- Le chemin vers l’impact (Impact)
- La qualité et l’efficacité du plan de travail (Mise en œuvre)
Ces aspects doivent être à la fois précis et concis pour donner toutes les informations nécessaires à l’expert évaluateur pour juger de la pertinence des choix scientifiques et méthodologiques de la proposition. Les adjectifs de qualification négative de ces aspects qui reviennent le plus souvent sont les suivants : manque de clarté, pas suffisamment décrit ou quantifié, pas justifié, aspects spécifiques non traités.
Les critères les plus généralement commentés de manière positive sont la considération du genre dans le contenu de la science ouverte et les pratiques de science ouverte (voir l’article dédié à ces aspects). Il convient donc de traiter correctement ces aspects-là dans sa proposition afin de ne pas être désavantagé.
Critères spécifiques
L’intelligence artificielle et les essais cliniques sont les aspects les plus négativement commentés dans le critère Excellence avec l’évaluation des risques dans le critère Mise en œuvre, que ce soit dans les projets financés aussi bien que dans les non-financés.
Intelligence Artificielle
Il est demandé en particulier aux experts d’évaluer la robustesse de l’outil. Les adjectifs de qualification négative de cet aspect qui reviennent le plus souvent sont les suivants : robustesse pas suffisamment détaillée ou pas claire, manque de détails sur la méthodologie, sécurité, confidentialité et précision pas assez discutés /détaillés/expliqués, qualité et disponibilité des données insuffisantes.
Essais cliniques (voir article détaillé)
De nombreux appels à projets permettent ou nécessitent la mise en place d’études cliniques pour lesquelles il est demandé de remplir un formulaire spécifique. Les adjectifs de qualification négative de cet aspect qui reviennent le plus souvent sont les suivants : design de l’étude peu clair et insuffisamment défini, pas justifié ou trop générique, méthodologie peu convaincante, trop générique, puissance statistique trop limitée et taille des échantillons non suffisamment justifiée, non convaincante ou sous-estimée, critères d’inclusions vastes et non spécifiques.
Évaluation des risques
Il est demandé pour tous les projets une évaluation des risques spécifiques, tant au niveau de la recherche que de la gestion du projet. Pour chaque risque identifié il faut proposer un plan de contingence associé. Il est très important de bien identifier l’ensemble des risques et d’avoir un plan listant les solutions pour les palier. En effet, l’identification par les évaluateurs de risques non cités dans la proposition pourrait faire chuter la note du critère Mise en œuvre. Les adjectifs de qualification négatifs sur cet aspect qui reviennent le plus souvent sont les suivants : évaluation des risques pas suffisamment discutée en détail, sous-estimée ou peu élaborée et générique, plans de contingence associés non convaincants, non spécifiques ou pas assez détaillés. Les risques spécifiques liés aux outils d’intelligence artificielle et aux essais cliniques sont également soulignés : pas assez décrits ou pas correctement (acquisition et qualité des données, aspect légaux pour l’IA et délai de recrutement et d’approbation réglementaire notamment pour les essais cliniques).