Michelsnek, miután játékosként ötször szerepelt a válogatottban, 1960-ban kezdődött tréneri karrierje a JOS Amsterdamnál. Öt évvel később szerződött az Ajax Amsterdamhoz, amely vezetésével európai sztáregyüttessé vált. A négy bajnoki cím mellett 1971-ben BEK-et nyert a csapattal, majd a Barcelonához szerződött.
Az 1974-es németországi világbajnokságon Michels a holland válogatottal megvalósította az úgynevezett totális futballt, és az együttes - többek között a torna legjobb játékosának választott Johann Cruyff remeklésével - ezüstérmet szerzett.
Legnagyobb edzői sikerét tizennégy évvel később érte el, amikor irányításával Hollandia megnyerte az Európa-bajnokságot, a döntőben 2-0-ra győzött Szovjetunió ellen.