Chiamato così perché il suo cuore si trova alle intersezione di Haight Street e Ashbury Street, comunemente noto come The Haight o in tempi più recenti The Upper Haight, il quartiere ha avuto un ruolo molto importante negli anni '60 e ha ospitato i natali del movimento hippy, derivato dalla Beat generation che risiedeva a North Beach pochi anni prima dell'estate dell'amore del 1967.
Le strade prendono il nome da Henry Huntly Haight, Governatore della California nel 1870 e da uno dei supervisori della città in quegli anni, Mr. Ashbury. La Haight Street Cable Railroad nel 1883 contribuì non poco allo sviluppo del quartiere, che prima ospitava solo isolate fattorie e molti acri di dune sabbiose. La linea del Cable Car collegava la parte ovest del Golden Gate Park con la centrale Market Street e il resto di Downtown. Tra il 1890 e il 1910, il quartiere diventò sede residenziale della media borghesia e rimase illeso dopo il disastroso incendio scatenato dal terremoto del 1906.
Il quartiere, come la maggior parte della città, fu colpito duramente dalla grande depressione del 1929. I residenti con abbastanza soldi, si trasferirono altrove contribuendo al declino della zona. Durante la seconda guerra mondiale, la mancanza di alloggi spinse a dividere in appartamenti le abbondanti case vittoriane che vi si trovavano e che erano inizialmente pensate per una singola famiglia; aumentò così la densità degli abitanti, tutti lavoratori presso le locali installazioni militari. Negli anni '50 il quartiere era in totale declino: molti edifici erano stati lasciati vuoti dopo la guerra ed erano diventati fatiscenti; le elaborate case vittoriane in legno del diciannovesimo secolo, divennero il paradiso degli hippy durante gli anni '60, a causa della disponibilità di stanze a buon prezzo. La sottocultura bohemian che ne derivò mise radici nella zona e ce n'è ancora traccia a tutt'oggi. San Francisco e Haight-Ashbury guadagnarono la reputazione del centro della cultura illegale della droga, degli spinelli, del rock and roll; specialmente il consumo di marijuana, LSD e crack diventarono comuni nel quartiere. Forse per questo motivo, molti volti noti del panorama rock degli anni '60 si stabilirono e si esibirono nella zona, come Jefferson Airplane e Janis Joplin. Lo stampo del quartiere fu per sempre alterato durante l'estate dell'amore del 1967, per la costernazione di molti dei residenti, con l'invasione del movimento Hippy e con tutto ciò che ne derivava. A metà degli anni '70, il 30% del quartiere era inagibile e molte delle proprietà rimasero vuote per un decennio. Da allora le cose sono molto cambiate, anche se permangono ancora una serie di librerie radicali, caffè dall'atmosfera rilassata e negozi di dischi di seconda mano che fanno un po' respirare l'atmosfera di quegli anni.
Il quartiere ospita il Buena Vista Park, una foresta montagnosa di pini di Monterey e sequoie della California e la Holos Gallery, che ospita una grande collezione di ologrammi e una camera oscura.
Ma la zona è ottima soprattutto per fare acquisti a buon prezzo, specialmente lungo i negozi che costeggiano il Panhandle, un parco lungo quanto il quartiere che è una protuberanza del ben più grande Golden Gate Park con cui Haight Ashbury confina. Il nome deriva dal fatto che, essendo lungo e stretto e contiguo con il più grande Golden Gate Park, visto dall'alto assomiglia ad un manico di una pentola. Fino a poco tempo fa aveva una pessima reputazione, come maggiore luogo di spaccio di stupefacenti della città; di notte era inaffrontabile, ma recentemente la situazione è migliorata, specie per l'installazione dell'illuminazione notturna. La zona a nord del Panhandle, circondata da Divisadero, Fell, Turk e Masonic Street, è chiamata North Panhandle, ed è parte del Western Addition. L'area ha subito profonde modificazioni, come il parco stesso, nei precedenti due decenni.


Il parco è risale al 1870, quando William Hammond Hall pianificò la sua costruzione nell'ambito dei piani di estensione verso ovest della città. Fu una sorta di giardino sperimentale, per trovare la migliore vegetazione in modo da sostituire le preesistenti dune sabbiose e che doveva servire da area di sperimentazione per la realizzazione del Golden Gate Park. Dopo molti tentativi ed errori, Hall trovò una soluzione adeguata: un primo strato di orzo, un secondo impiantato mesi dopo di erba e lupino e sul superiore sono stati impiantati pini e cipressi di Monterey ed eucalipti. Eliminate le dune furono piantate più di cento varietà di alberi, che al momento rappresentano tra i più antichi di tutta la contea di San Francisco.