Родился  20 июня(2 июля) 1839 года в семье Е.И.Маковского, бухгалтера и художника-любителя, одного из основателей Московского училища живописи, ваяния и зодчества (МУЖВЗ). Брат художника В.Е.Маковского. Учился в МУЖВЗ (1851–1858), где главным его наставником был С.К.Зарянко, а также в Академии художеств (1858–1863). Участник «бунта четырнадцати», был одним из членов-учредителей «Товарищества передвижников» (1870), однако с 1883 выставлял свои вещи самостоятельно, занимая независимую позицию по отношению и к «передвижникам», и к Академии. В 1876 посетил Ближний Восток, в том числе Египет, а также Болгарию и Сербию. Жил и работал в Петербурге, Москве и Париже.

Маковский стал жертвой уличной аварии (его пролетка была сбита трамваем) и умер в Петербурге 17 (30) сентября 1915.