Окончил театральный институт в Харькове, где впоследствии играл в театре. В 1959 году переезжает в Ленинград. С 1959-го по 1969-й является актером и режиссером «Ленфильма». В 1969 году, поддавшись на уговоры руководства киностудии им. Довженко, перебирается в Киев.
В кино дебютировал в 1952-м. В большой кинематограф его вывела роль Максима Перепелицы в одноименном фильме. Одной из лучших киноролей Леонида считается Алёшка в «Алешкиной любви» 1961 года. Всего же на его счету 26 киноролей как комедийного плана, так и героического.
Современный зритель знает Леонида Быкова в первую очередь по двум знаменитым картинам о войне: «В бой идут одни старики» и «Аты-баты, шли солдаты». Это наиболее известные режиссерские работы Быкова.
Он трагически погиб в автомобильной катастрофе на трассе Минск — Киев 11 апреля 1979 года возле посёлка Дымер в возрасте 50 лет.
Памятник Леониду Быкову в образе «маэстро» в 2001 году был установлен в Киеве неподалёку от Аллеи Славы.