The Concept of Exchangeability in Designing Telecourse Evaluations
Abstract
This paper examines designs for the evaluation of telecourses, that is college level education television courses, from the perspective of exchangeability. The notion of exchangeability focuses evaluation on the level of knowledge attained at the end of tele- and traditional courses, not on the “growth” of knowledge from pretest to posttest. If tele- and traditional courses are exchangeable, students in both types of courses should attain the same level of knowledge, skills, and affitudes. Three attributes of exchangeability are: (1) telecourse treatments cannot be separated from the* local implementation; (2) student characteristics and self selection into tele- and traditional courses cannot be disentangled; and, (3) a balance between internal and external validity should be sought.
From the exchangeability perspective, randomized experiments for evaluating telecourses are usually inappropriate and uninterpretable. Telecourse populations typically differ from traditional course populations; “treatments” vary almost as much within telecourses as between tele- and traditional courses; and attrition is normal.
In view of these problems, four alternative evaluation designs are examined from the exchangeability perspective. These designs are able to handle population and treatment differences. Also, exchangeability with its emphasis on equivalence of outcomes, not “gains,” avoids the problem of selection bias. We conclude that a combination of quasiexperimental and case study designs is most likely to provide the data that policymakers seek from telecourse evaluations.
Abstract
Cet article examine des modèles d’évaluation pour les cours télévises du niveau collégial, du point de vue de leur interchangeabilité. La notion d’inter changeabilité concentre 1’évaluation au niveau de la connaissance atteinte è la fin des cours télévisés ou traditionnels et non sur la “croissance” de la connaissance mesurée par un pré-test et un post-test. Si les cours télévisés et les cours traditionnels étaient interchangeables, les étudiants de ces deux types de cours devraient atteindre le même niveau de connaissance, d’habiléte et d’attitude. Voici trois éléments distinctifs d’interchangeabilité: (1) le traitement des cours télévises ne peut être séparé de leur mise en application locale; (2) les caracteristiques des étudiants et leurs motifs pour choisir des cours televises ou traditionnels ne peuvent pas être démêlés; et (3) un équilibre entre la validité interne et externe devrait être recherché.
Selon la perspective d’interchangeabilité, les expériences non-contrôlées pour évaluer les cours télévisés ne sont habituellement ni appropriées ni interprétables. La population des cours télévisés est d’un type différent de celle des cours traditionnels; les “traitements” varient presqu’autant â l’intérieur des cours télévisés qu’entre ces derniers et les cours traditionnels et l’attrition est un phénoméne normal.
En considération des ces problémes, quatre modèles d’évaluation sont exam inés dans la perpective d’interchangeabilité. Ces modèles sont capables de tenir compte des différences de population et de traitement. De plus, l’inter changeabilité, en mettant l’emphase sur l’équivalence des résultats et non des “gains,” évite le problème des préjugés de sélection.
Nous tirons la conclusion qu’une combinaison de modèles d’études quasi expérimentales et d’études de cas devrait fournir les données recherchees par les personnes chargées des décisions dans les évaluations de cours télévisés.
From the exchangeability perspective, randomized experiments for evaluating telecourses are usually inappropriate and uninterpretable. Telecourse populations typically differ from traditional course populations; “treatments” vary almost as much within telecourses as between tele- and traditional courses; and attrition is normal.
In view of these problems, four alternative evaluation designs are examined from the exchangeability perspective. These designs are able to handle population and treatment differences. Also, exchangeability with its emphasis on equivalence of outcomes, not “gains,” avoids the problem of selection bias. We conclude that a combination of quasiexperimental and case study designs is most likely to provide the data that policymakers seek from telecourse evaluations.
Abstract
Cet article examine des modèles d’évaluation pour les cours télévises du niveau collégial, du point de vue de leur interchangeabilité. La notion d’inter changeabilité concentre 1’évaluation au niveau de la connaissance atteinte è la fin des cours télévisés ou traditionnels et non sur la “croissance” de la connaissance mesurée par un pré-test et un post-test. Si les cours télévisés et les cours traditionnels étaient interchangeables, les étudiants de ces deux types de cours devraient atteindre le même niveau de connaissance, d’habiléte et d’attitude. Voici trois éléments distinctifs d’interchangeabilité: (1) le traitement des cours télévises ne peut être séparé de leur mise en application locale; (2) les caracteristiques des étudiants et leurs motifs pour choisir des cours televises ou traditionnels ne peuvent pas être démêlés; et (3) un équilibre entre la validité interne et externe devrait être recherché.
Selon la perspective d’interchangeabilité, les expériences non-contrôlées pour évaluer les cours télévisés ne sont habituellement ni appropriées ni interprétables. La population des cours télévisés est d’un type différent de celle des cours traditionnels; les “traitements” varient presqu’autant â l’intérieur des cours télévisés qu’entre ces derniers et les cours traditionnels et l’attrition est un phénoméne normal.
En considération des ces problémes, quatre modèles d’évaluation sont exam inés dans la perpective d’interchangeabilité. Ces modèles sont capables de tenir compte des différences de population et de traitement. De plus, l’inter changeabilité, en mettant l’emphase sur l’équivalence des résultats et non des “gains,” évite le problème des préjugés de sélection.
Nous tirons la conclusion qu’une combinaison de modèles d’études quasi expérimentales et d’études de cas devrait fournir les données recherchees par les personnes chargées des décisions dans les évaluations de cours télévisés.
![Creative Commons License](http://i.creativecommons.org/l/by/3.0/80x15.png)
This work is licensed under a Creative Commons Attribution 3.0 License.
![]() |