A fiatal Michael a tanulmányait a londoni Royal Academy of Dramatic Arton végezte el, majd a National Theatre alkalmazásába állt, és olyan szerepeket játszott a színpadon, mint Lear király, Marcus Antonius és Volpone. Az első kisebb filmszerepét is egy örök klasszikusban kapta 1965-ben az Othelloban, melyben már olyan nevek szerepeltek, mint Laurence Olivier, Maggie Smith, Frank Finlay és Derek Jacobi. '67-ben is szinte ugyanezekkel a nevekkel játszott a Sok hűhó semmiértben. Ezekután a '80-as évek közepéig szinte csak tévéfilmekben és sorozatokban kapott lehetőséget Gambon. 1985-ben tűnt ki Glenda Jackson és Ben Kingsley partnereként a Páncél mögöttben (Turtle Diary), melynek forgatókönyvét Harold Pinter írta. 1989-ben Helen Mirren mellett főszerepet kapott Peter Greenaway provokatív A szakács, a tolvaj, a feleség és a szeretőjében (Cook the Thief His Wife & Her Lover).

1992-ben a Toys című amerikai vígjátékban együtt játszott Robin Williams-el, majd két év múlva egy Mike Figgis drámában, a Magánórákban (The Browning Version) kapott egy mellékszerepet Albert Finney és Greta Scacchi oldalán. 1995-ben Michael Caine orosz ellenfelét alakította a Pekingi kapcsolat (Bullet to Beijing) című krimiben, majd jött Stephen Frears Dr. Jekyll és Mr. Hyde újradolgozása, A gonosz csábítása (Mary Reilly), melyben Julia Roberts apját alakította. 1997-ben Makk Károly A Játékos (The Gambler) című filmjében Fjodor Mihajlovics Dosztojevszkij szerepét osztotta rá, majd szintén ez évben egy Henry James feldolgozásban, A galamb szárnyaiban volt látható. Egy évvel rá Meryl Streep bátyjaként bukkant fel a Brian Friel sikeres színművéből adaptált Pogánytáncban (Dancing at Lughnasa). 1999-ben két amerikai sikerfilmben is szerepelt, a Johnny Depp főszereplésével készült Álmosvölgy legendájában (Sleepy Hollow) és Russell Crowe és Al Pacino mellett A bennfentesben (The Insider), Michael Mann a dohányipart leleplező filmjében.

2001-ben Robert Altman Gosford parkjában több régi ismerősével jött újra össze, mint Maggie Smith, Helen Mirren vagy Derek Jacobi. Egy évvel rá a szakma nagy elismeréssel fogadta Lyndon B. Johnson megformálását a Háború a háborúról (Path to War) című tévéfilmben. 2003-ban Kevin Costner és Robert Duvall ellensége volt a Fegyvertársak (Open Range) című westernben, de ez évben egy más jellegű szerepet is kapott a Sylvia Plathról szóló Sylvia című életrajzi filmben Gwyneth Paltrow és Daniel Craig mellett. Gambon 2004-es éve igencsak sűrű volt. Richard Harris halála miatt rá osztották Albus Dumbledore szerepét a Harry Potter és az azkabani fogolyban (Harry Potter and the Prisoner of Azkaban), de játszott a William Somerset Maugham regényéből készült Csodálatos Júliában (Being Julia), Jude Law és Angelina Jolie mellett a Sky kapitány és a holnap világa (Sky Captain and the World of Tomorrow) című sci-fiben, Matthew Vaughn első rendezésében, a Tortában (Layer Cake) és a Bill Murray főszereplésével készült keserédes komédiában, az Édesvízi életben is (Life Aquatic with Steve Zissou). A következő évben már csak egy filmet forgatott, a Harry Potter és a Tűz Serlegét. 2006-ban a Robert De Niro rendezésében készült Ügynökségében vállalt fontos szerepet a főszereplő Matt Damon társaságában. Majd következett az újabb Harry Potter darab, a Harry Potter és a Főnix rendje (Harry Potter and the Order of the Phoenix).