Иван Семёнович Козловский родился 24 марта 1900 года в селе Марьяновка Киевской губернии в крестьянской семье. Козловский был обладателем уникального голоса – высокий (лирический) тенор, за который его часто называли "русским соловьём" и "чародеем оперы"
Интерес к музыке Козловскому привил отец, который отлично пел, играл на венской гармонике. Мальчик имел исключительный слух и от природы поставленный красивый голос.
Подростком пел в хоре труппы Общества украинских актеров в Киеве. Вскоре Козловский стал солистом Большого академического хора, которым руководил известный на Украине композитор и хормейстер Александр Кошиц. В 1917 году Козловский поступил в Киевский музыкально-драматический институт на вокальный факультет.
В 1926 году Козловский дебютировал на сцене Большого театра (партия Альфреда в "Травиате"), солистом которого являлся до 1956 года.
В репертуаре Ивана Козловского насчитывалось около 50 оперных партий, в их числе: Альфред в "Травиате" Верди, Юродивый в "Борисе Годунове" Мусоргского, Ленский в "Евгении Онегине" Чайковского, Владимир Галицкий в "Князе Игоре" Бородина, царь Берендей в "Снегурочке" Римского-Корсакова.
Исполнял он также партии западного репертуара, среди которых выделялись Лоэнгрин в одноименной опере Вагнера, граф Альмавива в "Севильском цирюльнике" Россини, герцог в "Риголетто" Верди.
Много выступал в концертах, преимущественно с русскими старинными романсами, русскими и украинскими народными песнями, камерной лирикой русских композиторов (Глинка, Даргомыжский, Чайковский, Рахманинов).
Во время "большого террора" Козловский не подписал ни одного доноса. Галина Вишневская, чьё признание было заслужить очень непросто, называла его праведником.
Во время Великой Отечественной войны Козловский внёс в фонд обороны 25 тысяч рублей. В составе концертных бригад выступал перед бойцами, давал концерты в освобождённых городах, выступал в госпиталях: "мне довелось много раз выступать перед фронтовиками. И в госпиталях, и вблизи передовой. К раненым не раз ездил с Алексеем Николаевичем Толстым. Он читал свои рассказы, а я пел…"
В 1944 году вместе с дирижёром Александром Свешниковым Козловский создал уникальный коллектив — Хор мальчиков, который со временем превратился в знаменитое Хоровое училище имени Свешникова.
В послевоенный период помимо выступлений в качестве солиста Иван Семенович продолжал режиссёрскую работу — поставил несколько опер.
В 54 года певец оставил сцену Большого театра. Что именно послужило причиной ухода из театра, остается загадкой.
Иван Козловский играл в фильмах "Концерт фронту" (1942), "Большой концерт" (1951), "Борис Годунов" (1955), "Поэма о море" (1958), "И жизнь, и слёзы, и любовь" (1984).
В 1960-е годы Козловский добился строительства на собственные деньги на своей родине, в селе Марьяновка, Детской музыкальной школы, которой помогал до конца своих дней. Козловский сам обучал маленьких вокалистов, выступал с хором учащихся.
В поздние годы Козловский пел и записывал русскую духовную музыку.
Иван Семёнович Козловский — Народный артист СССР (1940), Герой Социалистического Труда (1980), лауреат Государственных премий СССР (1941, 1949), награжден пятью орденами Ленина (1939, 1951, 1970, 1976, 1980), орденом "Знак Почета" и медалями.
Умер Козловский в Москве 24 декабря 1993 года. 25 марта 2005 года, на "Доме артистов Большого театра", где он жил, открыли памятную доску Ивану Козловскому.