Il villaggio gay di San Francisco per eccellenza è il quartiere di Castro. Si trova alla fine di Market Street, tra la 18^th, Market, Church, Eureka e Sanchez Street. È confinante con il Mission, Noe Valley, Twin Peaks e Haight-Ashbury; nel suo territorio si trovano le alture di Dolores Heights. Il fulcro del quartiere si snoda però da Noe Valley alla 24^th street.
Il nome deriva da Castro Street che lo attraversa, che a sua volta prende il nome da Jose Castro, un leader dell'opposizione messicana agli Stati Uniti nel '800. Il quartiere c'è nato attorno dopo il completamento nel 1887 della Market Street Cable Railway, costruita per collegare la Eureka Valley con il centro della città.
Dal 1910 al 1920, il quartiere era sede per molti immigrati da Svezia, Norvegia e Finlandia e per questo veniva chiamato anche Little Scandinavia. Le ultime tracce di quel periodo scomparvero nel 1986, quando furono chiusi i bagni pubblici Finela risalenti ai primi del secolo precedente e ubitati dietro il Cafe Flore su Market Street. Il quartiere ospitava anche The Cove, un diner gestito da scandinavi, la Scandinavian Seamen's Union e la Swedish-American Hall, ancora esistente. Costruzioni di legno in stile scandinavo si trovano ancora lungo Market Street tra la Castro e la Church. Il romanzo Mama's Bank Account (Io e la mamma), di Kathryn Forbes dipinge la vita del quartiere tra gli immigrati scandinavi a Castro attorno al 1910.
Dopo gli scandinavi fu il turno degli irlandesi, che si stanziarono nella zona per trent'anni, a partire dal 1930. Dopo l'estate dell'amore del 1967, e l'enorme impatto che ebbe nel vicino Haight-Ashbury, Castro divenne sede di decine di migliaia di giovani omosessuali provenienti da tutti gli Stati Uniti. Il quartiere, che prima si chiamava Eureka Valley, cambiò il nome in Castro, e divenne la prima comunità gay della città. Questa natura si rafforzò a partire dal 1975, anno in cui Harvey Milk vi aprì un negozio di macchine fotografiche ed iniziò la sua vita politica come attivista gay contro la discriminazione dei medesimi, dando un importante impulso al relativo movimento.
L'area fu duramente colpita dall'AIDS nel 1980 e gli ufficiali cittadini iniziarono a chiudere i bagni pubblici e portarono avanti altre analoghe iniziative per prevenire il contagio della malattia. I muri degli edifici su Market Street erano tappezzati da manifesti che promuovevano il sesso sicuro. Si contavano quasi 20 mila omosessuali prima della diffusione dell'AIDS, solo 5 mila alla fine degli anni '80. Il quartiere oggi ospita molte attività propriamente dedicate agli omosessuali, che vertono quasi tutte per la raccolta di soldi (vendendo libri, opuscoli, magliette e souvenir) da destinare alla ricerca contro l'AIDS.
Abbarbicato sulla pendice est di Twin Peaks, Castro offre delle belle viste su Mission, sulla baia ed ospita una grande quantità di case vittoriane ben conservate. Interessante la Harvey Milk Plaza, nei pressi della stazione del BART. Punti di riferimento sono il Names Project, una serie di uffici che ospitano gran parte delle associazioni di raccolta fondi sopra descritte. L'incrocio tra Castro Street e la 18^th è cuore del quartiere, conosciuto come i 4 angoli più Gay della terra, dove ci sono librerie, negozi di vestiti, caffè e bar. Le strade che si dipartono da qui offrono la scelta più esclusiva di negozi esotici con ottimi vini e fiorai alla moda e portano a verdi zone residenziali separate dal resto della città.


A sud di Castro si apre Noe Valley, racchiusa tra la 21^st, la 30^th, la Dolores e la Grand View Avenue. Il quartiere è interamente residenziale e ospita quasi esclusivamente operai. Solo marginalmente toccato dai movimenti Beat, Hippy e gay, è ora un anonimo quartiere residenziale non particolarmente coreografico, tanto che molti lo apostrofano ironicamente nowhere valley.
La sua origine si colloca dopo il terremoto del 1906, quando divenne sede di un gran numero di abitazioni ammassate l'una sull'altra e tutte a basso costo. Costruito su una pendice di Twin Peaks, è comunque abbastanza panoramico e quindi piacevole come luogo residenziale, anche se senza alcuna pretesa.