Родился 27 марта 1927 года в Баку в семье музыкантов.
Его отец Леопольд Витольдович Ростропович был известным виолончелистом, а мать – пианисткой. Мстислав Леопольдович начал заниматься музыкой ещё в раннем детстве. В 16 лет он поступил в Московскую консерваторию, где изучал композицию с Сергеем Прокофьевым и Дмитрием Шостаковичем.
В 1946 году окончил Московскую консерваторию.
Первое выступление Ростроповича-виолончелиста с симфоническим оркестром состоялось в 1940 году в Славянске.
Дирижёрский дебют состоялся в 1962 году в Горьком (ныне Нижний Новгород).
В течение 26 лет преподавал в Московской консерватории (1948-1974) и 7 лет – в Ленинградской.
Первым в СССР стал инициатором проведения музыкальных фестивалей: именно М. Л. Ростроповичу принадлежала идея организовать Первый фестиваль современной музыки в Горьком в 1962 году. Этот грандиозный проект был осуществлен лишь спустя много лет, но именно в том виде, как об этом мечтал сам композитор: фестивали музыки Шостаковича прошли в Санкт-Петербурге (1997), Лондоне (1998), Токио (1998), Чикаго (1999) и Нью-Йорке (2002).
Важнейшим событием стал Фестиваль Шостаковича в Лондоне, когда вместе с Лондонским Симфоническим Оркестром (LSO) в течение двух месяцев Ростропович исполнил все симфонии Шостаковича и много других его произведений.
Сотрудничество с LSO дало возможность Ростроповичу организовать столь же развернутые фестивали, посвящённые Прокофьеву (1991), Бриттену (1993) и Шнитке (1994).
С 1987 по 2000 год был создателем, участником и бессменным руководителем музыкального фестиваля в Эвиане (Франция), где ежегодно собирались лучшие музыканты мира и исполнялись как премьеры сочинений современных композиторов, так и произведения классического репертуара.
Почетный доктор 50 университетов (среди них – Гарвард, Кембридж, Йель, Оксфорд).
Ушёл из жизни 27 апреля 2007 года в 10 часов 45 минут в московском онкологическом центре на Каширском шоссе. Похоронен 29 апреля на Новодевичьем кладбище Москвы (участок № 10).