Nastanek mesta in pristanišča je predvsem posledica izredno ugodne naravnogeografske lege, predvsem blagega podnebja in globoko vrezanega morskega zaliva. To še posebno velja za čas po letu 1848, ko je "zlata mrzlica" pritegnila v Kalifornijo oziroma v bližnje gorovje Sierra Nevada na tisoče ljudi, iščočih srečo.

Stalni potresi in požari
To, da mesto stoji na eni od najbolj dejavnih prelomnic sveta (prelomnica svetega Andreja), ni motilo tako rekoč nikogar. Potresi in požari so ga nekajkrat hudo prizadeli.

Potres z močjo 8,3 stopnje po Richterjevi lestvici je leta 1906 porušil večino lesenih stavb dvomljivega slovesa, posledični trodnevni požar pa je uničenje dokočal. V treh letih so mesto obnovili in posodobili. Nazadnje je potres prizadel San Francisco leta 1989, ko se je delno zrušila tudi konstrukcija mostu Bay Bridge, ki poslovno središče mesta povezuje s satelitskim naseljem Oakland na drugi strani Sanfranciškega zaliva (San Francisco Bay).

Krasi ga znameniti most Golden Gate
Še slovitejši je most Golden Gate (Zlata vrata), ki mestno središče povezuje z redkeje naseljenim zaledjem severno od zaliva. Južno od mestnega središča je znamenita Silicijeva dolina (Silicon Valley), ki je nekakšen naravni podaljšek Sanfranciškega zaliva proti jugu. V njej so v smeri proti San Joseju številna satelitska naselja (San Mateo, Santa Clara, Palo Alto), kjer je osredotočena industrija vrhunske računalniške tehnologije.

V Sanfranciškem zalivu so trije otočki: Yerba Buena Island (Otok dobre paše), Treasure Island (Otok zakladov) in najslavnejši med njimi, zloglasni Alcatraz, znan po nekdanjih zaporih, danes pa je pomembna turistična točka.