De bibliotheek van deze populaire president is gevestigd in een pand dat ook weer werd ontworpen door I.M. Pei. Het is een opvallende witte betonconstructie met veel glas en staal en staat op de campus van de University of Massachusetts. Ongeveer een derde van het gebouw wordt ingenomen door het Contemplation Pavillion, een acht verdiepingen hoog gebouw met een enorme Amerikaanse vlag binnenin. Verder is er niets meer te vinden dan een bank en een uitspraak van Kennedy op de muur, waardoor het gebouw indrukwekkend in al zijn eenvoud is. Naast tentoonstellingen met foto’s, brieven en andere memorabilia uit zijn persoonlijke en zijn presidentiële leven is er een 25 minuten durende film te zien over het leven van de president.