V najstniških letih je začel nastopati v lokalnih rokovskih skupinah, vendar ni dosegel uspeha, dokler se ni preselil v Los Angeles in podpisal pogodbe z založbo Nancy Sinatra.

Tam je pisal pesmi za izvajalce, kot so Glen Campbell, Bobby Goldsboro in Kenny Rogers.

Leta 1968 je Elvis Presley posnel njegovo skladbo A Little Less Conversation. Ker mu je bila všeč, ga je prosil, naj prispeva pesem za njegovo glasbeno vrnitev na televizijo, kamor se je vrnil po filmu, poroča britanski BBC.

"Prosili so me za pesem o oziranju nazaj skozi leta in, nenavadno, napisati sem jo moral v eni noči," se je spominjal pozneje. "Vso noč sem ostal v hiši Billyja Strangea v Los Angelesu. V svoji garaži je imel majhno pisarno. Tam sem jo napisal."

To je bila pesem Memories, ki je postala prva Davisova skladba, ki se je uvrstila med prvih 40 uspešnic na Billboardovi lestvici.

"Namesto da bi se stanje izboljšalo, se je poslabšalo"
S Presleyjem sta nato sodelovala pri pesmi In The Ghetto o rasni neenakosti. Leta 2009 je o njej povedal, da ga je navdihnil prijatelj iz otroštva Smitty Junior, sin temnopoltega delavca, ki je delal za njegovega očeta in je živel v "resnično umazanem uličnem getu".

"Povsod so bili umazane ulice in razbito steklo. Nisem mogel razumeti, kako lahko ti otroci bosi tekajo naokrog po vsem tem razbitem steklu; spraševal sem se, zakaj morajo tako živeti, jaz pa drugače." Kot je pojasnil Davis, pesem govori o revščini in o tem, da se "rodiš v situaciji, kjer nimaš upanja".

"Če poslušate pesem, je zdaj grozljivejša kot takrat. Namesto da bi se stanje izboljšalo, se je poslabšalo. Takrat smo imeli tolpe in nasilje v nekaj mestih, zdaj pa jih imamo skoraj v vseh ameriških mestih," je povedal Davis. Pesem je postala klasika v popularni glasbi, priredilo pa jo je več kot 150 izvajalcev, med njimi Dolly Parton, Sammy Davis mlajši in Nick Cave.

Pel je tudi sam
Njen uspeh mu je omogočil tudi, da je podpisal lastno pogodbo za snemanje. V 70. letih je prispeval več uspešnic, kot sta Whoever Finds This, I Love You in Stop and Smell the Roses. Njegov zaščitni znak pa je skladba I Believe in Music, ki jo je napisal na zabavi britanske pevke Lulu in njenega takratnega moža Mauricea Gibba iz skupine Bee Gees.

V svojih poznih letih je prispeval klubsko uspešnico s švedskim didžejem Aviciijem Addicted To You.

Davis je nastopal tudi v filmih, televizijskih oddajah in serijah, kot sta Fargo in Umor, je napisala, ter v broadwajskem muzikalu.