Crowe je v snemalni studio prvič stopil v svojih dvajsetih letih in pod vzdevkom Russ le Roq posnel pesem z naslovom I Want to Be Like Marlon Brando. Svojo prvo pravo skupino po imenu Roman Antix je s prijateljem Billyjem Deanom Cochranom ustanovil v 80. letih, nato pa so jo leta 1992 preimenovali v 30 Odd Foot of Grunts.
Po debitantski plošči The Photograph Kills iz leta 1995 so posneli tri albume. Leta 2005 so 30 Odd Foot of Grunts razpadli, ker je Crowe želel spremeniti smer v svoji glasbeni karieri. To je nato nadaljeval z Alanom Doylom, pevcem in tekstopiscem kanadske skupine Great Big Sea, s katerim sta ustanovila skupino The Ordinary Fear of God.
V zadnjih 15 letih je Crowe sodeloval z Doylom prek različnih projektov, vključno z dvema kompilacijama in studijskim albumom, ob vzporedni in zelo uspešni igralski karieri pa se je podal tudi na več glasbenih turnej po Avstraliji in Severni Ameriki. Crowe in Doyle sta leta 2017 združila in ustanovila še eno skupino – Indoor Garden Party. Skupina je takrat izdala svoj prvi in edini album The Musical, ki ga je igralec promoviral tudi v BBC-jevi oddaji The One Show.
