Con il nome di Western Addition si identifica l'area della città ad ovest della Van Ness Avenue, delimitata a nord da Pacific Heights (Post Street), Oak Street a sud e che si estende fino al Golden Gate Park. Il nome indica il fatto che si tratta di un'aggiunta al nucleo originale della città, motivata dall'aumento della popolazione cittadina. L'area in realtà è fatta di diversi sotto quartieri, tra cui i principali sono Fillmore, Japantown, Hayes Valley, Lower Pacific Heights, North Panhandle, Cathedral Hill e Alamo Square District.
Il quartiere si è sviluppato intorno all'inizio del ventesimo secolo come un zona residenziale per la piccola borghesia, un po' la parte povera di Pacific Heights. Diverse linee di Cable Car permettevano agli abitanti di raggiungere agevolmente il centro della città. Sopravvissuto all'incendio scaturito dopo il terremoto del 1906 (mancavano le tubature del gas e la Van Ness Avenue era sufficientemente larga da ospitare vere e proprie barricate che bloccarono le fiamme), il quartiere divenne rifugio per molti sfollati. Dopo la seconda guerra mondiale, il quartiere cadde in rovina: gli abitanti più benestanti si trasferirono altrove, abbandonando le scomode ed umide villette vittoriane di cui è in larga parte composto; i prezzi crollarono e vi si insediò la comunità africana della città. Da allora, in particolare nell'area di Fillmore, il quartiere ha sofferto di crimine e povertà. In realtà di recente la maggior parte del Western Addition è risanata ed ospita nuovamente la piccola e media borghesia; la stessa comunità africana è molto evoluta e composta da gestori di piccoli esercizi commerciali o addirittura da professionisti.
Con il termine Western Addition, in genere ci si riferisce al sotto quartiere di Fillmore, che di fatto rappresenta la parte principale; a spanne si estende dalla Fillmore Street ad ovest alla Van Ness Street ad est e tra Geary Boulevard (a nord) e Grove Street (a sud). L'area di Fillmore è stata il sito di un controverso progetto di rinnovamento urbano che è iniziato negli anni cinquanta, progetto non ancora del tutto completato e portato avanti dalla Redevelopment Agency guidata da Justin Herman. È il centro etnico ed economico della comunità afro-americana a San Francisco e negli anni cinquanta era un luogo malsano e malfamato. Oggi la situazione è migliorata e, malgrado persistano ancora sacche di povertà e di criminalità, il quartiere sta conoscendo un rapido miglioramento. Ci sono diversi centri musicali: il club jazzistico Yoshi's, il museo del jazz che aprirà nel 2007, la Boom Boom Room, la Rassalla's, e la Sheba Lounge, oltre al Fillmore Auditorium, retaggi dei molti night club nei quali, negli anni dopo la seconda guerra mondiale, si esibirono Ella Fitzgerald, Louis Armstrong e Billie Holiday.


A nord del Fillmore, su una collina vicina all'incrocio tra Geary Boulevard e Van Ness, si trova l'area conosciuta come Cathedral Hill: questa ospita una serie di luoghi di culto ebraici e cristiani di differenti confessioni, ma la chiesa più importante è St. Mary Cathedral, opera di Pier Luigi Nervi: la chiesa ha una pianta pentagonale dai cui lati partono alte vele di cemento che vanno a formare una croce sull'alto soffitto. Visitata da Papa Giovanni Paolo II nel 1980, da allora conserva lo status di Basilica.


Oltre Cathedral Hill, proseguendo verso ad ovest e stretta tra la Geary e la Sutter, si trova Lower Pacific Heights, un'area in cui il Fillmore e Pacific Heights si fondono in un'area di transizione tra estrema ricchezza ed estrema povertà.
Sempre in quell'area sono concentrati i sei isolati che formano Japantown. San Francisco ha la più grande Japantown in Californiab, sebbene questa si sia ridotta ai minimi termini dopo la seconda guerra mondiale. Dopo l'attacco di Pearl Harbor, il governo degli Stati Uniti portò cittadini di origine giapponesi in campi di concentramento e molto del quartiere rimase vuoto, permettendo alle etnie afro-americane di occuparlo. Dopo la guerra, i prigionieri politici furono lierati, ma molti ritornarono in Giappone. Justin Herman, nel suo piano di sviluppo del Western Addition, ha fatto molto per cercare di rinnovare il quartiere, riuscendoci solo in parte. Ora l'area è striminzita e il fulcro è il Japan Center, una zona pedonale di due isolati nella quale si concentrano tutti i negozi, ristoranti, supermercati, banche nonché il centro culturale giapponese. La brutta «Pagoda della Pace» è l'edificio più caratteristico, ed è stata progettata dall'architetto Yoshiro Taniguchi, donata a San Francisco dalla città di Osaka.


A sud di Hayes Street, tra Webster e Franking (praticamente a ridosso del Civic Center), si identifica il sotto quartiere denominato Hayes Valley. Il quartiere una volta era noto solo per essere, il terminal di arrivo della Central Highway. Dopo il terremoto di Loma Prieta e la sua demolizione, nell'ampia area liberata sono sorti nuovi condomini e parcheggi pubblici. È sorta una nuova zona che funge da centro commerciale per un quartiere fatto esclusivamente da case in stile vittoriano e Queen Anne. Vi si trovano boutiques di vestiti alla moda, ottimi ristoranti e complessi residenziali.


In prossimità del Golden Gate Park si trova il lungo parco del Panhandle e il North Panhandle, zone limitrofe al quartiere di Haight-Ashbury, con il quale sono più legate rispetto che con il resto del Western Addition.
Attorno al parco pubblico di Alamo Square, (area di quattro isolati tra Fulton, Scott, Steiner e Hayes), sorge l'area più carina del Wester Addition, denominata Alamo Square District che si estende tra Webster, Divisadero, Oak e Golden Gate Avenue. Il parco di Alamo Square si trova su una piccola collinetta e ospita un paio di campi da tennis, oltre che spazi verdi frequentati dagli abitanti che portano a passeggiare i loro cani. La collinetta è sufficientemente alta per ergersi al di sopra delle basse case del Western Addition; si riesce chiaramente a vedere tutti i grattacieli del Financial District, nonché la cima delle torri del Golden Gate Bridge. Su Stainer Street, di fronte al parco, c'è una fila di case vittoriane dai colori pastello. Sono le più famose e fotografate della città e sono note come painted ladies. Ma in generale è tutto il sotto quartiere, interamente occupato dalla media borghesia, ad essere fatto da antiche e coreografiche casette vittoriane, che non sono state toccate dai piani di ristrutturazione di Justin Herman.