Prevention. How much harm? How much benefit? 2. Ten potential pitfalls in determining the clinical significance of benefits

Kenneth G. Marshall, MD, CCFP, FRCPC

Canadian Medical Association Journal 1996; 154: 1837-1843

Dr. Marshall is associate professor of family medicine, McGill University, Montreal, Que.
The first article in this series appeared in the May 15 issue of CMAJ (abstract/résumé), and subsequent articles will appear in the July 15 (abstract/résumé) and Aug. 15 (abstract/résumé) issues.

Paper reprints of the full text may be obtained from Dr. Kenneth G. Marshall, Department of Family Medicine, McGill University, 517 Pine Ave. W, Montreal QC H2W 1S4; fax 514 398-4202.

The full text may also be ordered from the Canada Institute for Scientific and Technical Information (CISTI) or Ovid Technologies.

Abstract

A preventive program is only of value if it has proven benefits that outweigh any adverse consequences; unfortunately, determination of the clinical significance of reported benefits is not always easy. The first article of this series discussed the confusion caused by reporting results in terms of relative rates. In this article, 10 other pitfalls that may lead to misunderstanding of the degree of benefits are reviewed. These pitfalls are: the type of outcome chosen (surrogate v. clinically significant), the risk level in the population screened, the interval between the intervention and the benefit, the duration of intervention required to achieve the benefit, the overshadowing of one benefit by another, the application of a benefit for one variant of a disease to another variant, lower benefits in community settings than in clinical trials, publication bias, preferential citation of studies showing beneficial effects and "false-negative" results of studies. These pitfalls are illustrated through examples from the current medical literature.

Résumé

Un programme de prévention n'a de la valeur que s'il offre des avantages confirmés qui l'emportent sur toute répercussion indésirable. Il n'est malheureusement pas toujours facile de déterminer l'importance clinique des avantages signalés. Dans le premier article de cette série, il a été question de la confusion suscitée par la présentation des résultats sous forme de taux relatifs. Dans cet article, l'auteur aborde 10 autres pièges qui peuvent faire mal comprendre l'importance des avantages. Ces pièges sont : le type de résultat choisi (substitutif c. significatif sur le plan clinique), le niveau de risque dans la population examinée, le temps écoulé entre l'intervention et l'avantage, la durée de l'intervention nécessaire pour obtenir l'avantage, un avantage qui en relègue un autre au second plan, l'application à une autre variante d'un avantage lié à une variante d'une maladie, des avantages moins importants en contexte communautaire que dans le cadre d'études cliniques, la partialité des publications, le fait que l'on cite de préférence des études qui indiquent des effets bénéfiques et, enfin, les résultats «faussement négatifs» d'études. Ces pièges sont illustrés par des exemples tirés des écrits médicaux courants.

| CMAJ June 15, 1996 (vol 154, no 12) / JAMC le 15 juin 1996 (vol 154, no 12) |