Первое название этой улицы — Преображенская. В 1739 году было решено проложить магистраль от Кирочной улицы до Разъезжей, новая улица впоследствии распалась на две — современные Марата и Маяковскую. Первая из них стала называться Преображенской, так как близ Кирочной улицы квартировался Преображенский полк. Преображенская улица соединяла Невский проспект с Разъезжей улицей. Дальше Разъезжей магистраль называлась Семёновской, по расквартированному в этом районе Семёновскому полку.
В 1746 году в доме который находился на месте современного дома № 21 открылась временная церковь. Здесь располагался участок комиссара главной дворцовой канцелярии Фёдора Якимова. Именно с этой церкви начинается история Владимирского собора. В 1780-х годах на месте дома № 14 был построен двухэтажный каменный дом, в котором поселился Александр Николаевич Радищев с супругой. Именно в этом доме он написал и отпечатал «Путешествие из Петербурга в Москву».
Район между современными улицей Марата и Владимирским проспектом в XVIII веке был занят Дворцовыми слободами. Здесь жили придворные служители: конюхи, повара, портные, лакеи. Улицу проходившую через эту слободу и упирающуюся в Преображенскую улицу было решено назвать Стремянной. Именно в районе этой улицы были расселены служители императорского Конюшенного двора. В обиходе существовало и другое название — Ведёрная, по местному кабаку, отпускавшему водку вёдрами.
В конце XVIII века эту улицу в обиходе всё чаще называли Грязной. Располагалась она на окраине Санкт-Петербурга, здесь никогда не селились богатые горожане. В конце концов улица стала официально именоваться Грязной. В 1790е годы был построен дом № 79.
В 1817–1819 годах по проекту В.П. Стасова строилось новое здание для Ямского рынка. В 1820–1827 годах строилась Никольская единоверческая церковь. В доме № 25 жила родная сестра А.С. Пушкина Ольга. В гостях у неё не раз бывал Александр Сергеевич. Вместе с Ольгой здесь жила няня Пушкина Арина Родионовна. В этом доме 29 июля 1828 года Арина Родионовна умерла. В 1843 году в доме № 23 поселилась семья архитектора Василия Петровича Стасова. Стасовы занимали здесь большую квартиру, комнаты сыновей Василия Петровича Владимира и Дмитрия находились на полэтажа выше других. К ним вела деревянная лестница, на которой Владимир Стасов иногда упражнялся в фехтовании.
В первой половине XIX века Грязную улицу объединили с Семёновской.
После смерти Николая I в октябре 1856 года улицу переименовали в Николаевскую. Поводом смены названия именно этой магистрали дала близость Николаевского вокзала, построенного именно при императоре Николае.
В 1859 году по проекту автора Балтийского вокзала А. Кракау был построен доходный дом № 13. В 1860-х годах в доме № 1 поселился известный в то время писатель Григорий Петрович Данилевский. Здесь он прожил 26 лет. В 1864 году в доме № 1 открылась лавка купца Василия Ионовича Соловьёва. Именно этому предпринимателю со временем перешли рестораны Палкина и Лейнера, две гостиницы (одна из которых «Северная», ныне «Октябрьская»). В конце XIX века лавка Соловьёва сменила профиль, стала рестораном, получившим в городе хорошую известность. В 1870 году был построен дом № 9. В 1873 году построен дом № 64. В 1870-х годах домом № 1 владел купец 1-й гильдии Василий Андреевич Лапшин, первым ставший изготовлять в России безопасные спички. В 1876–1877 годах после перестройки приобрёл существующий облик дом № 14. В 1880 году квартиру в доме № 11 нанял Николай Евгеньевич Суханов, руководитель Военной организации партии «Народная воля». Здесь он был арестован в мае 1881 года спустя 2 месяца после убийства Александра II.
В конце XIX века на участке дома № 7 была построена Троицкая церковь. В 1888–1890 годах построен особняк К.Б. Зигеля — дом № 63. В 1894–1895 годах для книгоиздателя Игнатия Тузова был построен дом № 17. Здесь Тузов жил со своей семьёй, значительную часть дома сдавал в наём. В доме № 14 в конце XIX века находилась обувная фабрика, а в начале XX — «Петербургская прядильня искусственной шерсти». В 1890х годах в доме № 70 жил архитектор Александр Иванович фон Гоген (автор особняка Кшесинской, здания музея Суворова).
В мае 1912 года в доме № 37 (квартира № 34) был выпущен первый номер газеты «Правда». Здесь она выходила несколько первых месяцев своего существования. В 1914–1934 годах в доме № 9 жил будущий композитор Дмитрий Дмитриевич Шостакович. В 1915-1920х годах в доме № 58а работал популярный в то время театр «Синяя птица».
В 1917 году особая комиссия Временного правительства пожелала назвать Николаевскую улицу проспектом Двадцать Седьмого Февраля. Однако осуществить задуманное она не успела. В 1918 году улица получила имя французского революционера Жана-Поля Марата. В 1950х годах улицу продлили через Семёновский плац от Звенигородской улицы до Подъездного переулка. В 1952 году построен дом № 92 (вместе с противоположным ему через улицу Марата), в 1959 году — дом № 90.
В 1970х годах на месте снесённой Троицкой церкви было построено здание общественной бани (дом № 7). В доме № 11 в настоящее время работает Генеральное консульство Швейцарии, в доме № 15 — Генеральное консульство Венгерской республики. В 2002 году в доме № 25 разместилась редакция газеты «Санкт-Петербургские ведомости».