В марте 1965 года во время посещения возглавляемой им и Н. Н. Месяцевым советской делегации в Монголию на ужине в доме Ю. Цэдэнбала Н. Н. Месяцев «говорил о Шелепине как о будущем Генеральном секретаре». Месяцев действительно кричал: «Вот будущая величина!» — это было при мне. Все сидели выпившие, возможно, советский посол или офицер спецслужб проинформировал своё руководство… — А. И. Филатова

От генеральского звания при назначении отказался; был выдвинут Н. С. Хрущёвым с поставленой задачей перестраивать работу Комитета в соответствии с решениями XX съезда партии: ускорить десталинизацию и искоренить нарушения социалистической законности. Провёл масштабную реорганизацию Комитета с сокращением рабочего аппарата на несколько тысяч человек, при этом активно привлекал на работу выходцев из комсомола; основательно перестроил структуру Комитета вместо целевых оперативных подразделений образовав единый централизованный орган управления [2]. Во время отзыва из Китая советских советников Комитет оставался единственным советским ведомством, сохранившим связи с Китаем. «Я хочу коренным образом переориентировать КГБ на международные дела, внутренние должны уйти на десятый план»[3] [4]. Предпринимал попытку инициировать освобождение из тюрьмы Н. И. Эйтингона и П. А. Судоплатова. Совместно с генпрокурором СССР Р. А. Руденко инициировал досрочное освобождение из заключения сына И. В. Сталина Василия Сталина. Из его рук получали награды ликвидаторы С. А. Бандеры Б. Н. Сташинский и Л. Д. Троцкого Р. Меркадер.[источник не указан 102 дня] С октября 1961 года по сентябрь 1967 года — секретарь ЦК КПСС, был избран в последний день работы XXII съезда партии на организационном Пленуме ЦК КПСС. Также с ноября 1962 года по декабрь 1965 года возглавлял Комитет партийно-государственного контроля ЦК КПСС и Совета министров СССР (КПГК) одновременно являясь заместителем председателя Совета министров СССР. Во время волнений в Новочеркасске в 1962 году на месте событий с 1 июня (прибыл вместе с А. П. Кириленко), принимал участие в принятии «решения о расправе со „смутьянами“»[4]. Принимал активное участие в действиях по смещению Н. С. Хрущёва с поста Первого секретаря ЦК КПСС. Когда Брежнев пришёл к власти — ему нужен был сильный человек, который бы имел, так сказать, «ключи» к комитету госбезопасности — для того, чтоб утвердить своё положение, как человека избранного для руководства партии и государства. И образовался своего рода такой тандем Брежнев — Шелепин. Брежнев доверял Шелепину. Но потом, когда он почувствовал, что отношение Шелепина меняется к самому Брежневу… — Бывший заведующий отделом ЦК КПСС Л. Замятин В марте 1965 года во время посещения возглавляемой им и Н. Н. Месяцевым советской делегации в Монголию на ужине в доме Ю. Цэдэнбала Н. Н. Месяцев «говорил о Шелепине как о будущем Генеральном секретаре». Месяцев действительно кричал: «Вот будущая величина!» — это было при мне. Все сидели выпившие, возможно, советский посол или офицер спецслужб проинформировал своё руководство…