Rodil se je v glasbeni družini v Mumbaju in se kot otrok učil klavirja in violine, pozneje je študiral medicino, nato pa dirigiranje na dunajskem konservatoriju pri Hansu Swarowskemu. Danes 80-letni Mehta je izraelskemu filharmoničnemu orkestru prvič dirigiral leta 1961. Od leta 1969 je njegov glasbeni direktor, leta 1981 pa je njegovo imenovanje postalo dosmrtno. Z njim je doslej odigral več kot 3000 koncertov na vseh petih celinah.

Vzpon njegove kariere je bil bliskovit, saj je že pri 23 letih dirigiral tako Dunajski kot Berlinski filharmoniji, pri 26 letih pa je postal najmlajši stalni dirigent filharmoničnega orkestra iz Los Angelesa. Hkrati je bil glavni dirigent simfoničnega orkestra iz Montreala. Med letoma 1978 in 1991 je bil šef dirigent newyorških filharmonikov ter med letoma 1998 in 2006 generalni glasbeni direktor Bavarske državne opere v Münchnu.

Mehta je z izraelskimi filharmoniki večkrat gostoval tudi v Ljubljani.