Holland brak door als lid van de band Squeeze, die opgericht werd in maart 1974. Holland speelde de keyboards in de band. In 1980 verliet hij de groep omwille van een solocarrière.
De groep had tot dat moment drie albums uitgebracht. De eerste soloplaat van Holland kwam al in 1978 uit, de ep Boogie Woogie '78. In de jaren 80 bouwde Holland zijn solocarrière verder uit, wat uiteindelijk leidde tot de oprichting van het orkest The Jools Holland Big Band in 1987, en uiteindelijk Jools Holland & His Rhythm & Blues Orchestra.
Het orkest speelt jaarlijks voor gemiddeld 500.000 mensen.[2] In 1983
speelde Holland een lange pianosolo in het lied "Uncertain Smile" van de
band The The op hun album Soul Mining.
Sinds 1992 presenteert Holland zijn muziekprogramma Later with Jools
Holland op de Britse televisiezender BBC Two. In het programma treden
zowel gevestigde als onbekende bands en artiesten op, en af en toe
speelt Holland met een van hen mee tijdens de opnames. Voor
oudjaarsavond maakt Holland altijd de oudjaarsspecial Hootenanny. Naast
"Later" maakte Holland ook andere televisieprogramma's voor de BBC,
zoals Name That Tune; Don't Forget Your Toothbrush; Beat Route; Jools
Meets The Saint en Jools' History Of The Piano.
In 1996 kreeg Holland een platendeal met Warner Brothers. Voor deze
platenmaatschappij maakte hij de cd-serie "Jools and Friends",
waarbij hij telkens met verschillende artiesten samen speelt.
Voorbeelden van deze artiesten zijn onder andere Blur, Coldplay, Sting,
George Harrison, Norah Jones, Eric Clapton, Joe Strummer, Robert Plant,
Smokey Robinson, Sugababes, Peter Gabriel en Solomon Burke.
In 4 oktober 2007 kwam Hollands autobiografie uit; Barefaced Lies &
Boogie-Woogie Boasts.