Интерес к музыке Козловскому привил отец, который отлично пел, играл на венской гармонике. Мальчик имел исключительный слух и от природы поставленный красивый голос.
Подростком пел в хоре труппы Общества украинских актеров в Киеве. Вскоре Козловский стал солистом Большого академического хора, которым руководил известный на Украине композитор и хормейстер Александр Кошиц. В 1917 году Козловский поступил в Киевский музыкально-драматический институт на вокальный факультет.
В 1926 году Козловский дебютировал на сцене Большого театра (партия Альфреда в «Травиате»), солистом которого являлся до 1956 года.
В репертуаре Ивана Козловского насчитывалось около 50 оперных партий, в их числе: Альфред в «Травиате» Верди, Юродивый в «Борисе Годунове» Мусоргского, Ленский в «Евгении Онегине» Чайковского, Владимир Галицкий в «Князе Игоре» Бородина, Царь Берендей в «Снегурочке» Римского-Корсакова.
Исполнял он также партии западного репертуара, среди которых выделялись Лоэнгрин в одноименной опере Вагнера, граф Альмавива в «Севильском цирюльнике» Россини, герцог в «Риголетто» Верди.
Много выступал в концертах, преимущественно с русскими старинными романсами, русскими и украинскими народными песнями, камерной лирикой русских композиторов (Глинка, Даргомыжский, Чайковский, Рахманинов).
Во время Великой Отечественной войны Козловский внес в фонд обороны 25 тысяч рублей. В составе концертных бригад выступал перед бойцами, давал концерты в освобожденных городах, выступал в госпиталях.
«Мне довелось много раз выступать перед фронтовиками, — вспоминал Иван Семенович. — И в госпиталях, и вблизи передовой. К раненым не раз ездил с Алексеем Николаевичем Толстым. Он читал свои рассказы, а я пел…»
В 1944 году вместе с дирижером Александром Свешниковым Козловский создал уникальный коллектив — Хор мальчиков, который со временем превратился в знаменитое Хоровое училище имени Свешникова.
В послевоенный период помимо выступлений в качестве солиста Иван Семенович продолжал режиссерскую работу — поставил несколько опер.
В 54 года певец оставил сцену Большого театра. Что именно послужило причиной ухода из театра, остается загадкой.
Иван Козловский играл в фильмах «Концерт фронту» (1942), «Большой концерт» (1951), «Борис Годунов» (1955), «Поэма о море» (1958), «И жизнь, и слезы, и любовь» (1984).
В 1960-е годы Козловский добился строительства на собственные деньги на своей родине, в селе Марьяновка (Украина), Детской музыкальной школы, которой помогал до конца своих дней. Козловский сам обучал маленьких вокалистов, выступал с хором учащихся.
В поздние годы Козловский пел и записывал русскую духовную музыку.
Иван Семенович Козловский — Народный артист СССР (1940), Герой Социалистического Труда (1980), лауреат Государственных премий СССР (1941, 1949), награжден пятью орденами Ленина (1939, 1951, 1970, 1976, 1980), орденом «Знак Почета» и медалями.
Умер Козловский в Москве 24 декабря 1993 года. 25 марта 2005 г. на «Доме артистов Большого театра», где он жил, открыли памятную доску Ивану Козловскому.