Sestri Olsen sta priznali, da je njuno zasebno življenje precej drugačno, kot si ga predstavljajo ljudje. V pogovoru za revijo Allure sta dejali, da je precej frustrirajoče, kaj si drugi mislijo o njiju.

"Mislim, da ljudje, ko naju gledajo, mislijo, da imava vse. Da imava dovolj denarja in si lahko z njim kupiva vse, kar si želiva. To je pogled neizobraženih, ker morava še naprej rasti z najinim poslom in izkoristiti vsako priložnost, ki pride," sta pojasnili.

Čeprav sta si slavo in bogastvo nakopali na račun vloge v televizijski seriji, sta Hollywoodu obrnili hrbet. "Razlog je bil praktičen: enostavno mi ni uspelo, da sem bila na snemanjih in da sem ob tem še ustvarjala nove kolekcije. Brala sem scenarije in na koncu ugotovila, da se ne morem stoodstotno posvetiti obema, zato sem izbrala oblikovanje," je pojasnila 27-letna Ashley in dodala: "Zabavna industrija zahteva veliko kompromisov."

Malce drugačen razlog je imela njena sestra Mary-Kate. Kot je povedala, enostavno ni imela nadzora nad končnim proizvodom, zato je obesila igralstvo na klin. Nazadnje se je sicer pojavila v televizijski seriji Gandža (Weeds) leta 2008.