Simon se je rodil v Newarku v zvezni državi New Jersey madžarsko-judovskim staršem. Arta Garfunkla je spoznal pri enajstih letih. Postala sta ena najuspešnejših glasbenikov 60. let in simbol kontrakulturnega gibanja ob skupinah, kot so bili The Beatles in The Beach Boys. Njune največje uspešnice so se uvrščale na prva mesta lestvic po vsem svetu.

Pozneje sta se z Artom Garfunklom večkrat razšla, uradno leta 1970. Njun zadnji album Bridge over Troubled Water, ki je izšel tega leta, je bil tudi njun najuspešnejši in je postal eden najbolje prodajanih albumov na svetu. Po razpadu sta kljub sporom še nekajkrat priložnostno igrala skupaj, med drugim leta 1981 na dobrodelnem koncertu v newyorškem Centralnem parku.

Simon je bil uspešen tudi na svoji samostojni poti. Iz njegove solistične kariere velja omeniti vsaj uspešnice Me and Julio Down by the Schoolyard, 50 Ways to Lose Your Lover in You Can Call me Al. Izdal je 14 albumov, nazadnje leta 2018 In the Blue Light. Tega leta je tudi napovedal, da se odpoveduje turnejam.

Za svoje delo je prejel vrsto nagrad, med njimi tudi 12 grammyjev. Njegova glasba ni bila le odsev časa, v katerem je nastajala, temveč je močno vplivala tudi na razvoj ameriške in svetovne glasbe ter na družbo. Zelo odmeven je bil njegov družbenokritični muzikal The Capeman o morilcu portoriških korenin Salvadorju Agronu.

Letos se je pridružil vrsti zvezdnikov, kot so Bob Dylan, Neil Young in Carole Bayer Sager, in prodal svoj celotni opus glasbeni založbi Sony Music Publishing.