Het oude gebouw was oorspronkelijk een wolfabriek waar uniformen voor het Amerikaanse leger werden gemaakt. Later, van 1893 tot het begin van de zestiger jaren, was het een chocoladefabriek van de familie Ghirardelli. Een deel van de fabriek, met de oude chocoladevaten, ketels en ovens, is nog steeds in bedrijf en toegankelijk voor het publiek. De chocolade is een delicatesse van San Francisco. De overige fabrieksruimte werd in 1964 na jaren renoveren omgetoverd in een prachtig winkelcentrum met boetieks, speciaalzaken, restaurants en bars. Prima gelegen op slechts een kwartiertje lopen van Fisherman’s Wharf.
De Ghirardelli Square ligt ten westen van Fisherman’s Wharf (tegenover het Aquatic Park). Het is een schitterend voorbeeld van hoe oude gebouwen met enige aanpassing, geschikt kunnen worden gemaakt voor de moderne tijd, zonder dat het oude, vertrouwde karakter van een wijk verandert.