Rechercher dans le programme et les archives du congrès



81e Congrès de l'ACFAS

Période de questions

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Les enjeux autour de l'utilisation des résultats de l'évaluation de l'enseignement par les étudiants du 1er cycle universitaire

Auteur : Saïdou SEGUEDA
Colloque    513 - La communication des résultats d'évaluation

L'évaluation de l'enseignement par les étudiants, selon Romainville et Coggi (2009), constitue un volet délicat de la relation dynamique s'instaurant entre l'étudiant et le professeur, et soulève ainsi des questions à propos du statut des uns et des autres. À l'Université de Montréal, elle est essentiellement de nature formelle et de deux types: la rétroaction de mi-session, facultative, administrée par le professeur, et l'évaluation de fin de trimestre, administrée par l'Université, obligatoire pour les étudiants du 1er cycle. L'utilisation faite des résultats de cette évaluation formelle et instrumentée soulève des enjeux importants, tant sur les plans économique, politique et socio-éthique, comme l'ont relevé divers auteurs (Bernard, 2011; Jorro, 2007; Paquay et al., 2010; Poissant, 1996).

Dans le cadre de cette contribution, nous présenterons la recension des écrits effectuée dans le cadre d'une étude de 2e cycle (Sèguéda, en cours) pour questionner ces enjeux, selon la position occupée par les principaux acteurs concernés : pour les administrateurs, l'enjeu principal est la création d'une culture de l'enseignement qui s'est perdue au détriment de celle de la recherche; pour les professeurs, il s'agit de leur développement professionnel et de leur progression dans la carrière; pour les étudiants, c'est autour de la qualité de la formation que se pose l'enjeu principal.



81e Congrès de l'ACFAS

Pause

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Évaluer un programme de développement des compétences interculturelles : une réflexion sur les éléments fondamentaux pour la reddition de comptes

Auteur : Lilia alexandra Simoes forte
Colloque    513 - La communication des résultats d'évaluation

Au cours des dernières décennies, on note une importante augmentation des étudiants étrangers dans les universités canadiennes (Association des universités et collèges du Canada, 2011). Ce constat nous amène à réfléchir sur les conditions favorisant l'intégration de ces étudiants dans les programmes. D'un point de vue méthodologique, il existe de nombreux instruments pour mesurer les compétences interculturelles chez les étudiants (Paige, 2004). Par contre, il existe peu d'études crédibles concernant les qualités de ces instruments et la façon dont il est possible de les utiliser en situation réelle. Cette communication consiste à présenter un devis alternatif d'évaluation des compétences interculturelles en contexte universitaire et à discuter des éléments essentiels dont les évaluateurs doivent tenir compte et en particulier dans une perspective de reddition de comptes. Ainsi, en tenant compte des recommandations de Messick (1993) concernant les facettes de la validité, les éléments sur lesquels nous avons décidé de nous pencher sont la pertinence et l'utilité des instruments de collecte de données (ibid.), ainsi que les conséquences et les implications de leur utilisation au niveau organisationnel. Par ailleurs, nous aborderons le recueil d'indicateurs ou indices observables (Nagy, Demeris et van Berneveld, 2000). Nous discuterons également de l'importance de l'instrumentation dans la prise de décision et subséquemment pour la pérennisation des programmes.



81e Congrès de l'ACFAS

Pause

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Période de questions

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Période de questions

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Comment des résultats et des commentaires sur des résultats construisent un jugement : une étude de cas

Auteur : Charles-étienne Tremblay
Colloque    513 - La communication des résultats d'évaluation

À partir d'une approche mixte (Karsenti, 2011; Pluye et al., 2009), nous essayerons
de comprendre la façon dont les notes et les commentaires d'un bulletin scolaire
peuvent contribuer à la construction de deux types de jugement : le professionnel et
le parental. Nous nous inspirerons de notre expérience actuelle d'enseignement en français
de 1re secondaire dans une école publique québécoise. Nous nous interrogerons, par
exemple, sur les gradations (résultats : faibles malgré son travail / tendent à baisser /
baissent dangereusement; efforts : satisfaisants / insatisfaisants / inconstants /
laissent grandement à désirer / fait des efforts, mais éprouve des difficultés;
autonomie : remarquable / manque) de même que sur les énoncés quant aux facteurs
suivants, plus récurrents que d'autres (leadership, organisation de travail, ordre dans
les notes de cours, autorité) dans la liste des commentaires disponibles : les
résultats, les travaux, l'effort et l'attention.

81e Congrès de l'ACFAS

Période de questions

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Approche comparative de trois systèmes d'évaluation de la compétence à enseigner

Auteur : Bernard Andre
Colloque    513 - La communication des résultats d'évaluation

La question de l'évaluation des pratiques enseignantes est une question complexe (André, 2012). Les difficultés sont de différents ordres :

•    la question de la référence permettant de fonder l'évaluation, sachant qu'il n'existe pas de consensus entre chercheurs sur de bonnes pratiques universelles (Brookhart & Loadman, 1992)

•    La variabilité des situations et contextes de l'évaluation, qui ont un impact marqué sur les performances observées sur lesquelles se fondent les évaluations.

•    La complexité des pratiques enseignantes difficiles à séparer analytiquement (Darling-Hammond, Wise, & Klein, 1999; Dumay, 2011).

Notre recherche a examiné les instruments permettant le recueil et la communication des résultats de l'évaluation de trois systèmes relatifs à la formation des enseignants : le Performance Assessment for California Teachers (PACT) aux États-Unis, l'évaluation des stages de formation pratique à l'UQAM (Canada) et ceux effectués à la Haute école pédagogique à Lausanne (Suisse). Nous examinerons en particulier :

- L'articulation entre évaluation globale et l'utilisation d'indicateurs précis.

- La dynamique entre subjectivation et objectivation de l'évaluation.

- La place des observations et des inférences dans l'évaluation.

L'analyse de ces éléments, liés entre eux, vise à dégager les enjeux des choix effectués, particulièrement la place et le développement du jugement professionnel chez les évaluateurs (Lafortune & Allal, 2007; Mottier Lopez & Allal, 2010).

81e Congrès de l'ACFAS

Période de questions

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Effet de la longueur d'une échelle de réponse sur quelques indices psychométriques d'un questionnaire de satisfaction des clients

Auteur : Jean-sébastien Renaud
Colloque    513 - La communication des résultats d'évaluation

Les études de satisfaction des clients (ex. : étudiants, patients) apportent aux décideurs une rétroaction sur la qualité de leurs services/produits. Certains auteurs suggèrent qu'utiliser une échelle de réponse plus longue, autour de 10 points, donnerait aux répondants plus de latitude pour indiquer avec justesse leur degré de satisfaction, surtout que leurs réponses y sont généralement concentrées à l'extrémité positive. La présente étude examine l'effet de la longueur de l'échelle de réponse (6 pts c. 10 pts) sur la variance et les qualités psychométriques d'un questionnaire de satisfaction. Deux versions d'un questionnaire de satisfaction ont été administrées à 154 et 157 personnes, respectivement. Les résultats d'analyses de variance et du test de Hakstian et Whalen indiquent qu'employer une échelle de réponse en 10 points plutôt qu'en 6 points ne permet pas d'obtenir des écarts-types d'items, des indices de discrimination ou une fidélité supérieurs. De plus, des tests d'invariance des paramètres structuraux démontrent que la longueur de l'échelle de réponse n'influence pas la validité nomologique. Ces résultats suggèrent que les échelles de réponse en 10 points et en 6 points sont équivalentes sur le plan des qualités psychométriques lorsqu'elles sont utilisées dans un questionnaire de satisfaction des clients.

81e Congrès de l'ACFAS

Pause

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Quelques techniques d'établissement de standards et proposition d'une variante à la méthode du signet

Auteur : Gilles Raiche
Colloque    513 - La communication des résultats d'évaluation

Un des défis qui se pose aux spécialistes de l'évaluation est celui de mettre en relation le résultat aux épreuves d'évaluation et les divers niveaux de compétence attendus. Cette opération est importante pour donner un sens à la transmission des résultats d'évaluation. Une approche fréquemment employée consiste à élaborer une échelle descriptive globale, ou encore des échelles descriptives analytiques, pour ensuite établir quel score correspond à chacun des niveaux de ces échelles. Des techniques qui reposent sur l'appréciation d'experts ont été proposées à cette fin : principalement les méthodes d'Angoff, d'Ebel et du signet (bookmark). Lors de cette présentation, nous allons décrire ces trois méthodes et allons proposer une variation à la méthode du signet qui permet non seulement d'établir des standards, mais aussi de valider la constitution des échelles descriptives élaborées a priori. La présentation sera réalisée à l'aide de données empiriques tirées d'une épreuve d'évaluation langagière en français, langue seconde, auprès de la clientèle immigrante au Québec. Les résultats obtenus montreront les avantages et les inconvénients de la méthode.



81e Congrès de l'ACFAS

Période de questions

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Les divers formats des rapports individuels issus de l'évaluation diagnostique : état des lieux critique

Auteur : Nathalie Loye
Colloque    513 - La communication des résultats d'évaluation

Quels que soient l'objet d'évaluation, la visée, ou le contexte, la dernière étape de la démarche évaluative est la communication des résultats. Dans le cas d'une évaluation diagnostique, le construit évalué est le plus souvent multidimensionnel et doit faire l'objet d'un rapport individuel détaillé communiqué à chaque participant et cohérent avec le design du test (Leighton et Gierl, 2007). Notre communication présente une revue de littérature des études empiriques qui proposent des modèles de rapports individuels issus d'une évaluation diagnostique. Ces modèles prennent par exemple la forme de portraits chiffrés, graphiques ou descriptifs (Jang, 2005, Lee et Sawaki, 2009, Jang, 2009). Dans un premier temps, nous proposons un cadre d'analyse pour juger divers critères dont la qualité visuelle du portrait, la précision de l'information, la pertinence du choix des graphiques, ou encore la facilité de l'interprétation par l'apprenant ou l'enseignant (Roberts et Gierl, 2010). Nous appliquons ensuite ce cadre d'analyse aux divers modèles de rapports diagnostiques que nous avons identifiés dans la littérature. Les résultats prennent la forme d'une synthèse critique des approches utilisées pour communiquer les résultats aux apprenants dans diverses disciplines et à divers niveaux de formation. Nous concluons par une liste de recommandations à prendre en considération pour proposer un modèle de rapport individuel diagnostique utile aux enseignants et aux apprenants.

81e Congrès de l'ACFAS

Mot de clôture

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Période de questions

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Les qualités métriques de l'évaluation de l'enseignement par les étudiants maghrébins

Auteur : Jaouad Alem
Colloque    513 - La communication des résultats d'évaluation

Selon March (2007), les évaluations de l'enseignement universitaire (EEE) sont multidimensionnelles, fiables, stables et relativement valides Nous avons vérifié ces conclusions en administrant deux questionnaires (24 items et 8 items) à des étudiants marocains (N1=22), algériens (N2= 83) et tunisiens (N3= 56) en septembre 2012. L'analyse factorielle exploratoire a permis de confirmer les dimensions théoriques des questionnaires. La fiabilité est vérifiée par le calcul de l'alpha de Crombach. La méthode ‘Éducational Testing Service' a permis d'estimer les degrés de discrimination des items. Après avoir éliminé un item déviant, les 24 items s'avèrent être tous discriminants, la fiabilité est acceptable (alpha = 0,92) et l'analyse factorielle exploratoire confirme bien les cinq dimensions théoriques du questionnaire (Shemsi, G.; Radid, M.; Sadiq, M. et Talbi, M., 2011). Les huit items sont également tous discriminants et la fiabilité est supérieure à 0,83. Par contre, la solution factorielle révèle seulement deux composantes principales fort ressemblantes pour chacun des trois pays: le climat d'apprentissage et la consistance dans la poursuite des objectifs d'enseignement-apprentissage; celles-ci expliquent à elles seules plus de 75 % de la variance totale. Cette étude suggère que les EEE sont effectivement multidimensionnelles, fiables et discriminantes, par contre leur validité reste encore à démontrer.



81e Congrès de l'ACFAS

Mot de bienvenue

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Évaluation d'un programme d'aide à la réussite en philosophie au collégial

Auteur : Christophe Chénier
Colloque    513 - La communication des résultats d'évaluation

Cette communication présentera un projet d'évaluation de l'efficacité d'un centre d'aide en philosophie au collégial. Il s'agit d'un travail important car, bien que les centres d'aide à la réussite en philosophie soient présents dans presque tous les cégeps, les cours de philosophie faisant partie de la formation obligatoire commune, aucune évaluation de leur efficacité n'a, jusqu'à maintenant, été publiée par un chercheur indépendant. À notre connaissance, seuls Brière, Filteau et Laurin (1996) ont publié un article ayant trait à une évaluation d'un programme d'aide à la réussite en philosophie au collégial, et cette recherche souffre de carences méthodologiques évidentes.

Une évaluation de l'efficacité d'un centre d'aide en philosophie d'un cégep de taille moyenne de la grande région montréalaise a donc été entreprise à l'automne 2012 pour se poursuivre à l'hiver 2013. Les professeurs responsables du centre et la direction des études de cet établissement ont collaboré à ce projet. Cette évaluation, fondée sur le modèle logique, tente de mesurer l'impact de la fréquentation du centre sur les résultats des étudiants en philosophie. Cette communication présentera ce projet, ses objectifs, sa méthodologie et ses résultats partiels, disponibles au moment de la présentation.

81e Congrès de l'ACFAS

Pause

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Le portfolio professionnel : un outil de communication pour soutenir l'évaluation des compétences

Auteur : Hélène Meunier
Colloque    513 - La communication des résultats d'évaluation

Depuis plusieurs années, la majorité des universités (Meyer et Latham, 2008; Michaud, 2010) qui offrent des programmes de formation à l'enseignement demandent aux étudiants de se constituer, tout au long de leur formation, un portfolio professionnel. Inspiré du modèle de l'enseignement de Shulman (1987) et du modèle de portfolio de Diez (1994), le portfolio professionnel se définit comme un outil où la réflexion, l'autoévaluation et la créativité permettent de faire des liens entre les objectifs d'apprentissage et les apprentissages réalisés. Intégré tout au long de la formation. Dès lors, il permet à l'étudiant de communiquer l'état du développement de ses compétences professionnelles auprès des formateurs universitaires. Le portfolio professionnel peut alors devenir un outil dévaluation certificative permettant de soutenir le jugement professionnel des formateurs. Dans le contexte d'un projet doctoral en cours, la communication visera dans un premier temps à définir le portfolio professionnel comme outil d'évaluation dans une fonction certificative selon différents auteurs. Puis, seront présentées les perceptions des formateurs universitaires quant à l'utilisation du portfolio professionnel, recueillies lors d'entrevues individuelles. Ces résultats préliminaires permettront d'identifier les avantages et les désavantages d'utiliser le portfolio professionnel pour évaluer les étudiants du point de vue des formateurs.

81e Congrès de l'ACFAS

Période de questions

Colloque    513 - La communication des résultats d'évaluation
81e Congrès de l'ACFAS

Traitement des données manquantes et estimation des paramètres d'item : application à un test de compétence en anglais, langue seconde

Auteur : Sébastien Béland
Colloque    513 - La communication des résultats d'évaluation

Il n'est pas rare d'obtenir des données manquantes lors de la passation d'une épreuve d'évaluation ou d'un questionnaire de recherche. Ce problème peut survenir lorsqu'un étudiant a omis de répondre à une section d'un examen ou lorsqu'il a volontairement décidé de ne pas répondre à certaines questions.

Les chercheurs en éducation se soucient généralement très peu de ce problème important. Il existe pourtant de nombreuses stratégies pour gérer/traiter les données manquantes. Dans le cadre de cette étude, nous aurons comme objectif de comparer des méthodes traditionnelles (par exemple, l'utilisation de la moyenne) et d'autres plus contemporaines (par exemple, la méthode par imputations multiples) pour traiter les données manquantes. Pour ce faire, nous utiliserons le modèle de Rasch (Rasch, 1960) pour vérifier si le paramètre de difficulté des items diffère selon l'utilisation de diverses méthodes. Nous avons choisi un test d'anglais, langue seconde (N=1709), constitué de 85 items à réponses choisies, unidimensionnel et qui a déjà été validé, pour procéder aux analyses.