Al in 1604 werd Cape Ann ontdekt door de beroemde ontdekkingsreiziger Samuel de Champlain. De eerste kolonisten kwamen rond 1623 en vestigden zich in het huidige Gloucester. Hun nageslacht zorgde ervoor dat Cape Ann een belangrijk visgebied werd. Het pure decor van de prachtige kustlijn en het pittoreske plaatsje heeft op de eerste kolonisten, filmproducenten uit Hollywood en natuurlijk ook op alle bezoekers, door de eeuwen heen een enorme aantrekkingskracht gehad. Door de gunstige ligging wordt Cape Ann ook wel de Whale Watching Capital of the World genoemd. Van hieruit vertrekken 3 en 4 uur durende tours onder leiding van een bioloog waarbij je de walvissen van heel dichtbij kunt bewonderen. Vergeet ook niet een bezoekje te brengen aan de Cape Ann Historical Association, dat een goed beeld geeft van de walvisvaardertijd en de levensstijl die daarmee gepaard ging.