Родился в творческой семье. Мать Алексея Рыбникова была художником-дизайнером, отец — скрипачом, работавшим в оркестре Александра Цфасмана. Рыбников начал пробовать себя в качестве композитора уже в детстве: в 8 лет написал несколько фортепьянных пьес, в 11 — балет «Кот в сапогах».
С 1956 по 1962 год Рыбников учился в Центральной музыкальной школе при Московской консерватории. В 1962 году поступил в Московскую консерваторию, по классу композиции учился у А. И. Хачату