La carrière militaire de Colville débute en 1942; il s'enrôle alors dans l'infanterie de l'Armée canadienne. Il sert d'abord au Canada, puis, en 1944, il est envoyé à Londres, en Angleterre, comme artiste de guerre. Il peint dans le Yorkshire. Il prend part aux débarquements de la Marine canadienne dans le sud de la France. Par la suite, il est affecté à la 3^e Division d'infanterie canadienne, dont il suivra les déplacements en Hollande et en Allemagne, de 1944 à 1945. Il aura la pénible tâche de consigner sur toile les horreurs du camp de concentration de Belsen. Il monte une exposition d'art de guerre à Amsterdam à la fin de la guerre.

De retour au pays, Colville présente dans les années 1950 ses premières expositions individuelles. Il dirige un atelier de peinture et de dessin à l'Université d'Alberta, à Edmonton, sera artiste-résident à l'Université de Californie, à Santa Cruz et fera un stage à titre d'artiste invité à Berlin. Plusieurs universités lui remettent des doctorats honorifiques et en reconnaissance de son œuvre, il est nommé officier de l'Ordre du Canada en 1967 et fait Compagnon en 1982. Colville vit et travaille actuellement à Wolfville, en Nouvelle-Écosse.