Расул Гамзатов написал «Журавли» на своём родном аварском языке. Существует две версии, что именно вдохновило поэта. 

    Поездка в Хиросиму. В 1965 году Гамзатов в составе советской делегации посетил Японию. Он побывал в Мемориальном парке мира и увидел памятник японской девочке Садако Сасаки. Она заболела лейкемией после атомного взрыва и верила японское поверье: если сложить тысячу бумажных журавликов (оригами), желание исполнится и человек выздоровеет. Садако не успела завершить работу и умерла. У памятника Гамзатов увидел тысячи женщин в белых траурных одеждах (в Японии в трауре носят белое, а не чёрное). В этот момент в небе появилась стая настоящих журавлей (говорили, что они прилетели из Сибири). Поэт заметил в стае небольшой промежуток — словно кто-то из птиц не долетел. Вскоре Гамзатову вручили телеграмму о смерти матери, и по дороге домой он думал одновременно и о японской трагедии, и о личном горе, и о миллионах погибших в войнах. 

Есть и вторая версия: Гамзатов увидел обелиск в селе Дзуарикау. Он был посвящён семье Газдановых — все семеро сыновей погибли на войне. Мать не выдержала после третьей похоронки и умерла, а отец скончался, получив последнюю весть. Монумент изображал скорбящую мать и семь улетающих птиц. 

В изначальном варианте первые строки звучали так: «Мне кажется порою, что джигиты, с кровавых не пришедшие полей, в могилах братских не были зарыты, а превратились в белых журавлей…». 

Стихотворение перевёл на русский язык Наум Гребнев — друг поэта, который сам прошёл войну, был трижды ранен. Гамзатов позже писал, что Гребнев стал почти соавтором: стихотворение оказалось ему близко, потому что он сам пережил войну и потерял близких. В 1968 году перевод напечатали в журнале «Новый мир».

Там его увидел Марк Бернес — актёр и певец, для которого тема войны была глубоко личной. Он сразу понял, что из этих строк можно сделать песню. Бернес позвонил Гребневу и предложил внести правки: заменить «джигиты» на «солдаты» (это расширило смысл, придало произведению общечеловеческое звучание) и сократить текст. Гамзатов согласился.

Написать музыку Бернес предложил Яну Френкелю — композитору, который тоже прошёл войну. Работа поначалу шла тяжело, но спустя примерно два месяца Френкель напел вступительный вокализ и позвонил Бернесу. Тот приехал, прослушал мелодию и расплакался. Запись проходила в тяжёлых условиях: Марк Бернес был неизлечимо болен раком лёгких. 8 июля 1969 года сын отвёз его в студию, и певец записал вокал с одного дубля. Эта запись стала последней в его жизни — через месяц артиста не стало.

Песня стала реквиемом и песней-молитвой. Для многих она остаётся одним из самых пронзительных музыкальных памятников войне.