В 1854 году, уже имея художественную подготовку, он поступил вольноприходящим учеником в Академию художеств, где учился у Ф. А. Бруни, С. М. Воробьёва и Т. А. Неффа. В следующем году Мещерский принял участие в академической выставке, показав два пейзажа — «Вид в окрестностях Ораниенбаума» и «Вид Петропавловской крепости». Академия наградила художника Второй серебряной медалью, а в 1857 году за картину «Утро в окрестностях города Фридрихсгамена» — Первой серебряной медалью.

Журналы того времени отметили большое дарование начинающего художника, находя в его картинах «много света, воздуха и теплоты». В раннем творчестве Мещерского отразилось увлечение художника живописью швейцарского пейзажиста А. Калама с его вниманием к натуре и в то же время склонностью к романтическим эффектам.

В 1857 году Мещерский на свои деньги поехал в Швейцарию для усовершенствования в живописи под руководством Калама. К этому году относится небольшой эскиз сепией «Вид в Савойе», по которому художник просил разрешения написать картину на Вторую золотую медаль.

На Академической выставке 1859 года Мещерский показал две исполненные в Швейцарии картины: «Вид части озера Четырех кантонов» и «Льды в Ландеке». Академия наградила художника Первой золотой медалью, дававшей право на заграничную командировку.

Летом 1860 года через Одессу, Константинополь, Венецию и Милан Мещерский снова отправляется в Швейцарию. Из-за границы художник посылал свои картины в Россию. В 1860 году на выставке в Академии были показаны его «Вид в Оберланде» и «Вид Женевы».

Картины Мещерского пользовались большим успехом у современников. Журналы посвящали им хвалебные, а нередко и восторженные строки. П. М. Ковалевский в 1860 году писал в «Современнике» о пейзажах Мещерского:

«... сколько в них свежести и живой поэзии. Как много воздуха, прохладной растительности и света! Мещерский — блестящая надежда нашей пейзажной живописи».

В 1864 году Мещерский вернулся в Россию и «за отличные познания в художествах» получил звание академика пейзажной живописи. Отныне его деятельность была тесно связана с Петербургом, где он жил постоянно, время от времени совершая поездки на Кавказ, в Финляндию и Прибалтику.

Мещерский много писал, его пейзажи охотно принимались на выставки, быстро раскупались, многие из его картин прямо из мастерской приобретались для императорских дворцов. Художник регулярно экспонировал свои работы на академических выставках, в конце 1870-х — начале 1880-х годов участвовал в созданном при Академии Обществе выставок художественных произведений, был первым председателем и постоянным экспонентом Петербургского общества художников.

Пейзажи Мещерского с успехом демонстрировались на всемирных выставках в Париже, Лондоне и Вене. В 1883 году в Петербурге была устроена выставка произведений Мещерского и художника-портретиста И. К. Макарова. Дважды, в 1884 и 1885 годах Мещерский в качестве экспонента выставлял свои картины у передвижников. Признание художника в официальных кругах выразилось в том, что в 1876 году он получил звание профессора Академии художеств, а в 1886 году «за особые труды на художественном поприще» был награждён орденом Анны третьей степени. 

Мещерский много занимался преподаванием. Ещё учась в Академии, он давал уроки живописи юному В. Г. Шварцу и его товарищам по Александровскому лицею; впоследствии у Мещерского было много учеников.

Мещерский любил изображать величественные горные пейзажи Швейцарии и Кавказа, суровую и романтически-дикую природу Финляндии, берега Прибалтики, русские леса и украинские дубравы.

В его картинах часто встречаются восходы и закаты, ярко освещенные снеговые горные вершины и темные ущелья, пурпурное зимнее солнце и зеленоватое вечернее небо, морозная мгла и яркая зелень после дождя. Художественная манера Мещерского мало изменялась с годами. Для него характерна четкая, академичная по своей построенности композиция, довольно широкая манера письма.

Искусствовед К. В. Михайлова отмечает:

"В целом пейзажам Мещерского недостаёт лиризма и интимности, но в них много выразительности и яркости, нередко величавости и торжественности. Художник умел создавать простые по мотиву, правдивые по чувству и спокойные по колориту картины. Лучшие пейзажи Мещерского написаны с несомненным живописным мастерством". 

В. В. Стасов не раз с похвалой отзывался о картинах Мещерского, а И. Н. Крамской в письме к А. С. Суворину от 12 февраля 1885 года писал: 

«В таких вещах, как «Зима» Мещерского, взяты только одни основные массы, тоны и их пропорции, с изумительной математической верностью».

Большое место в творчестве Мещерского занимают горные пейзажи, главным образом виды Швейцарии и Кавказа. В картине «Утро на Рионе» (1877) открывается грандиозная панорама на горные цепи и обширную долину.

Несколько раз художник писал озеро Эзель-Ам в Дагестане, окружённое горами, вершины которых теряются в облаках.