Кисилев родился 6 июня 1838 года в Свеаборге, в семье небогатого офицера. Вскоре после рождения сына отец оставил военную службу и, получив место лесничего неподалёку от Казани, перебрался туда вместе с семьёй. По существующей у Киселёвых традиции, в 1852 году Александра отдали на воспитание в Петербургский кадетский корпус (Первый кадетский корпус), куда он был принят на казённый счёт как внук погибшего во время Отечественной войны 1812 года майора С. И. Киселёва.

Любовь к рисованию привил мальчику отец, в свободное от работы время занимавшийся искусством. По воспоминаниям художника, в кадетском корпусе он постоянно проявлял нерадивость к военной службе, увлекаясь рисованием и сочинением стихотворений.

В 1858 году Киселёв ушёл из кадетского корпуса и поступил на филологический факультет Петербургского университета, решив посвятить себя литературной деятельности. Занятия в университете шли успешно. Вскоре некоторые стихотворения Киселёва студенческих лет были опубликованы в литературно-художественном журнале.

В университете Киселёв проучился лишь три года. В 1861 году он был исключён за участие в студенческих выступлениях.

Уйдя из университета, молодой Киселёв начал успешно заниматься живописью. В 1861 году ему удалось поступить вольнослушателем в Академию художеств. О годах учения Киселёва в Академии известно немногое. В 1862 году он получил Вторую серебряную медаль за пейзаж с натуры, а в 1863 году – Первую серебряную медаль за «Вид в Новгородской губернии».

В 1864 году Киселёв вошёл в Артель художников, возглавлявшуюся В. М. Максимовым. О выполненных им работах в Артели никаких сведений не сохранилось. Но дружбу со старыми товарищами, особенно с Максимовым, он не терял всю жизнь.

Распад Артели поколебал веру Киселёва и в свои творческие способности, и в силу искусства вообще. Он легко дал уговорить себя бывшему своему товарищу по университету уехать в Харьков. В Харькове для Киселёва, по его словам, «наступили тяжёлые дни». Вначале удалось продать несколько пейзажей, а затем дела пошли все хуже и хуже. Женитьба и рождение детей окончательно подорвали материальное положение художника. В поисках заработка он занимался иконописью, давал уроки рисования, работал в адвокатуре, писал заметки в местных газетах и журналах.

В Харькове Киселёв прожил до 1875 года, и, несмотря на то, что занятия живописью отошли на второй план и художник не посылал на выставки свои произведения, он всё своё свободное время проводил у мольберта.

1874 год был переломным в жизни Киселёва. В Харьков привезли выставку картин Товарищества передвижников. Знакомство с произведениями, авторами которых зачастую были прежние друзья Киселёва, воскресило в нём заветную мечту о возвращении к искусству. После долгих и мучительных размышлений художник решил в 1875 году послать на выставку передвижников пейзаж «Вид из окрестностей Харькова», в котором, по замечанию одного из современников, "разом совмещались все времена года и все часы дня. Видно было, что автор излил в пейзаже всё, что накопилось в нём за целые годы бездействия". Но товарищи-художники отнеслись сочувственно к вновь обретённому собрату по искусству, а Крамской послал Киселёву письмо, в котором советовал по-серьёзному заняться живописью. И выбор был сделан.

«Возвращение в среду художников, — писал Киселёв, — успокоило меня и придало новую энергию. И как бы ни повернулось моё счастье, во мне никогда не возникнет желание выйти из этой колеи, на которую я попал».

В 1875 году Киселёв переехал с семьёй в Москву. В следующем году он был принят в члены Товарищества. С 1876 года вплоть до своей смерти Киселёв постоянно участвовал в ежегодных выставках передвижников. Он занял видное положение в Товариществе и ежегодно избирался в правление. Его общительный, добродушный характер и неиссякаемый юмор в сочетании со строгой принципиальностью и последовательностью в вопросах реалистического искусства снискали Киселёву всеобщее уважение художников.

Личная дружба с И. Е. Репиным, В. М. Максимовым и другими, совместное рисование на "вечерах" художников — всё это способствовало укреплению его реалистических позиций в искусстве, с которых он не сошёл ни разу в жизни.

В Москве Киселёв вскоре сблизился с семьёй известного мецената С. И. Мамонтова, давал уроки рисования его детям. Зимой в московской квартире Мамонтовых, а летом в Абрамцево Киселёв встречался со многими видными деятелями русской культуры, хотя сам активного участия в мамонтовском кружке не принимал.

В 1880–1881 годы у Киселёва брал уроки живописи известный впоследствии художник-пейзажист И. С. Остроухов, всегда высоко ценивший Киселёва как своего первого учителя.

В московский период Киселёв много и упорно работает над пейзажем с натуры. Он тщательно прорабатывает каждый этюд, добиваясь его законченности. Эта любовь к пристальному изучению натуры сохранилась у него навсегда. В 80-е годы Киселёв окончательно формируется как художник-реалист, объективно передающий природу; отчётливо определяется его творческая индивидуальность, которая сохраняется почти неизменной и в последующие годы. Типичными для Киселёва в этом плане являются пейзажи: «Собирание хвороста» (1880), «Перед грозой» (1881), «Забытая мельница», «С горы», «Дождь» и др.

Известно несколько вариантов полюбившегося Киселёву сюжета «Забытой мельницы» (Третьяковская галерея, Ярославский музей, частное собрание). Все они очень близки друг другу, почти без изменения в них повторяется один и тот же мотив: полуразрушенное деревянное строение с соломенной крышей у запруды реки, лодка с опущенными вёслами, как бы застывшая неподалёку от берега, и группа развесистых деревьев на другой стороне реки. Это уютный, приветливый уголок русской природы, и художник рассказывает о его красоте просто и искренне. Композиционный и живописный строй пейзажа отличается уравновешенностью. Солнечный день. Тишина и спокойствие разлиты в природе. Неподвижны и кроны густо-зелёных деревьев, склонённых над мельницей, и лёгкие серебристые облака.

И. Е. Репин писал, что картины Киселёва всегда производят "освежающее впечатление".

В 1890 году Киселёва пригласили заведовать отделом изобразительных искусств в журнале "Артист". На страницах журнала стали появляться его статьи. В статье "Французская живопись", анализируя произведения современных художников Франции, Киселёв видит главный их недостаток в том, что "Французские художники слишком мало придают значения идее и слишком много внимания уделяют форме, находя возможным совсем игнорировать идею, в то время как "искусство по существу своему" всегда идейно и высоконравственно... "

Киселёв писал о значении искусства:

"На произведение искусства мы не должны смотреть только как на объект благородного наслаждения или праздной забавы. Десятки и сотни произведений переживут нас на много лет и для потомков наших будут служить свидетелями нашего современного миросозерцания, наших идеалов и практических стремлений" (Из статьи 1892 года "Картины парижских салонов").

В 1890 году Киселёв купил небольшой участок земли рядом с Туапсе, построил дом и стал бывать там каждое лето, путешествуя по всему Кавказу. Суровая красота горных хребтов и бескрайние просторы моря взволновали художника. На эти темы он написал впоследствии много картин.