Изначально своим возникновением музей обязан богатейшей коллекции искусства миллионера и филантропа Джозефа Хиршхорна, латвийского эмигранта, чья семья приехала в Америку в начале 20 века. Из нищего подростка, бывшего двенадцатым ребенком в семье из тринадцати детей, воспитывавшихся овдовевшей матерью, Хиршхорн со временем стал богатым человеком, отдававшим все свое свободное время и большую часть состояния на коллекционирование картин, скульптур и уникальных рисунков.
В 1966 году Хиршхорн завещал большую часть своей коллекции Смитсоновскому институту. Он же пожертвовал средства на строительство здания музея. Его возведение началось в 1969 году и завершилось через пять лет.
Спустя годы миллионер Хиршхорн скажет: "У бедности всегда горький привкус. Я поклялся, что никогда не буду испытывать его вновь"
Здание музея было спроектировано Гордоном Баншафтом и является частью Смитсоновского музея – крупнейшего музейного комплекса мира. Внешний вид музея весьма необычен – его огромные цилиндрические стены сравнивают с космическим аппаратом, припарковавшимся на Национальной аллее.
Aмериканцы в шутку называют его «самым большим бетонным бубликом в мире». Здание представляет по существу открытый цилиндр, поставленный на четыре массивные «ноги» – опоры, с большим фонтаном, занимающим центральный двор.
Музей был задуман как музей современного искусства и в настоящее время основной упор в его экспозициях делается на период после Второй мировой войны, на произведения искусства, появившиеся в последние 50 лет.
Основная коллекция картин и скульптур размещается на втором и третьем этажах музея – тут представлены работы Пабло Пикассо, Анри Матисса, Генри Мура, Франца Клайна, Сальвадора Дали, Джексона Поллока, Роя Лихтенштейна и многих других мастеров. В саду скульптур экспонируются произведения Огюста Родена, Эмиля Антуана Бурделя, Дэвида Смита, Александра Колдера, Джеффа Кунса.
Самый притягательный экспонат сада – знаменитая скульптурная группа Огюста Родена «Граждане Кале». Она посвящена героическому эпизоду Столетней войны. Английский король Эдуард III в течение года осаждал город Кале, голод заставил оборонявшихся сдаться. Король обещал пощадить жителей, если шестеро знатных горожан выйдут в рубище и с верёвками на шеях, чтобы принять казнь за всех. Первым вызвался погибнуть самый богатый житель Кале Юсташ де Сен-Пьер. Когда шестеро добровольцев вышли навстречу королю, беременная жена Эдуарда умолила мужа ради их будущего ребёнка пощадить героев.
Оригинал скульптурной группы находится в самом Кале, в музее Хиршхорна выставленa копия .
«Дерево желаний», инсталляция вдовы Джона Леннона Йоко Оно. Идея основана на японской традиции привязывать к ветвям записки с молитвами. На здешнее дерево посетители вешают листочки со своими желаниями.
Фонтан окружен скульптурными головами животных, символизирующих знаки зодиака. Среди них 11 еральных животных и одно мифическое – дракон. Инсталляция выполнена китайским художником Ай Вей Веем.
Недавно само здание решили использовать как огромной панорамный кинотеатр под открытым небом. Это – не художественная инсталляция, а огромный проекционный экран с названием «Song 1», созданный дизайнерами, инженерами и архитекторами компании «Doug Aitken Workshop».