À travers les années, le Collège a connu sa part de difficultés et celles-ci, semble-t-il, furent ressenties de façon aiguë lors du 75e anniversaire du Collège, soit en mai 1965. C’était toujours le même problème -celui du financement. En plus, les édifices étaient en pauvre condition, le besoin de rénovations se faisait ressentir, les inscriptions étaient très basses et même la programmation avait besoin d’améliorations, mais que faire sans argent? Face à tous ces problèmes, c’est la question de la vie ou de la mort du Collège Sainte-Anne qui remontait à la surface. C’est l’avenir du Collège qui paraît peu prometteur. À qui la responsabilité d’assurer ou non la survivance du Collège? Ainsi commença, de 1965 à 1969, une série de requêtes et d’enquêtes. Mais plus important encore étaient les solutions proposées par mgr Garneau (homme chargé de faire enquête sur les problèmes d’avenir du Collège), afin de régler ce problème. Laliberté et LeBlanc mentionnent quelques-unes des recommandations de Garneau, soit : l’affiliation avec l’Université de Moncton, la reformulation des programmes académiques et la plus pénible fut celle de la relocation du Collège à Yarmouth et sa transformation en Junior College. Dans une lettre au Grants Committee of Nova Scotia, en 1966, Garneau mentionne les raisons qui justifient cette relocation :
a) It would establish the college in the geographical centre of the whole area it can be expected to serve.
b) It could operate more economically, mostly as a day school, in Yarmouth, thus enabling the French-speaking Acadians to commute to it as easily from Pubnico as from Meteghan.
c) It would also provide both the French and English-speaking students from Yarmouth and the vicinity with post-secondary educational facilities closer to their home…

Les recommandations n’ont pas plu aux Acadiens de Pointe-de-l’Église et un professeur de l'Universié Laval, Marc-Adélard Tremblay, avait passé quinze ans à étudier les Acadiens de la Baie Sainte-Marie et en mars 1966 avait préparé un mémoire concernant ce problème. D’après Tremblay, le choix de Yarmouth comme étant le nouveau site pour le Collège allait entraîner pour les Acadiens une perte d’identité culturelle et allait mener à l’assimilation. Il rejettait les recommandations de Garneau car selon lui, elles créeraient un genre de génocide culturel et le genre d’Institut proposé ne paraissait pas réalisable dans la situation actuelle. Comme le dit M-A Tremblay dans son exposé traitant l’avenir du Collège Sainte-Anne, «Le Collège est le symbole d’une présence française au Sud-Ouest; sa disparition entraînerait des sentiments d’une nouvelle déportation pour les Acadiens.» Nul besoin d’élaborer que la population de Clare souhaitait maintenir l’institution à Pointe-de-l’Église, mais ceci n’était que le début de la lutte connue sous le nom de la Crise de 1971 qui aboutit à l’abandon du Collège par les pères Eudistes et à sa prise en main par un bureau de directeurs laïcs.