The Institute of Contemporary Art is misschien wel beroemder door zijn architectuur dan de moderne kunst die er binnen te zien is. Het gebouw werd ontworpen door studio Diller Scofidio + Renfro en bestaat uit een en al glas en scherpe hoeken. De achterkant is het meest opvallend, die hangt op een duizelingwekkende manier over de haven van Boston heen.