Советский и российский оперный и камерный певец (тенор), . Родился в крестьянской семье в селе Марьяновка Киевской губернии. С 7 лет пел в хоре Михайловского монастыря в Киеве, где был замечен духовным композитором А. А. Кошицем.
В 1916 году Козловский начал карьеру певца, выступая в качестве солиста в музыкальных труппах. В начале 1920-х годов он стал солистом сначала Полтавского, а затем Харьковского и Свердловского оперных театров, где исполнял ведущий теноровый репертуар.
В 1926 году Иван Козловский был принят в Большой театр Москвы, в котором на протяжении 28 лет был ведущим солистом. В репертуаре Козловского насчитывалось более полусотни партий из знаменитых опер, таких как Ленский в «Евгении Онегине» Чайковского, Владимир Галицкий в «Князе Игоре» Бородина, Царь Берендей в «Снегурочке» Римского-Корсакова, Юродивый в «Борисе Годунове» Мусоргского, Пинкертон в «Чио-Чио-сан» Пуччини и другие.
В 1938 году по инициативе Козловского был создан Государственный ансамбль оперы СССР, художественным руководителем которого он и был назначен. Здесь он также выступал и как оперный режиссёр.
Иван Козловский известен и своими многочисленными концертными гастролями, на которых он исполнял старинные романсы, народные песни России и Украины, а позже записывал духовную камерную музыку.
В годы Великой Отечественной войны неоднократно выезжал в составе концертных бригад в действующую армию, выступал в госпиталях.

Иван Козловский скончался 21 декабря 1993 года в Москве, похоронен на Новодевичьем кладбище