Экономическое обоснование строительства железной дороги Москва — Харьков —Ростов впервые появилось в проекте Н. Муравьёва ещё в 1838 году. Спустя год в журнале "Сын отечества" был опубликован проект О. Сафонова, который считал необходимым строительство железной дороги Курск — Харьков — Кременчуг и Москва — Одесса для вывоза хлеба из Курской, Харьковской и Полтавской губерний.
В 1852 году черниговский, полтавский и харьковский губернаторы под давлением генерал-губернатора С. А. Кокошкина направили Главноуправляющему путями сообщения и публичными зданиями предложение о постройке Южной дороги от Харькова до Феодосии. После доклада об этом Николаю I появилась резолюция императора: "Будет прекрасное дело. Безотлагательно приступить к осуществлению". С такой резолюцией представление обсуждалось в Комитете путей сообщения в присутствии наследника престола и также получило одобрение. Однако строительство дороги так и не началось из-за отсутствия средств.
Особенно ярко проблему бездорожья высветила Крымская война. В то время, когда Англия и Франция быстро подвозили по морю пароходами войска и снаряжение, Россией связь с театром военных действий в Крыму осуществлялась гужевым транспортом, который не справлялся с доставкой всех необходимых ресурсов для действующей армии. В распутицу движение по грунтовым дорогам становилось невозможным. Войска, направлявшиеся из центральных частей России к Крыму маршем, тратили на передвижение много недель, изматывались в пути.
Раненых из сражающегося Севастополя с большим трудом довозили до Екатеринослава, а за две сотни вёрст находился Харьков с его университетом и клиниками. Но к тому времени успели соединить рельсами только Санкт-Петербург и Москву и строился путь к Варшаве.
Первая концессия на постройку дороги из Москвы в Севастополь дана сразу по окончании войны в 1856 году Главному обществу российских железных дорог, но оно дороги не построило. По новому Высочайше утверждённому уставу 3 ноября 1861 года, обязательства общества ограничивались сооружением Петербурго-Варшавской ж. д. (с ветвью к прусской границе) и Нижегородской ж. д.
В 1863 году была дана концессия на эту дорогу английской компании с повёрстной гарантией правительства (5,5%), но та в указанные сроки не собрала необходимые средства и не приступила к строительству.
В декабре 1862 и в январе 1863 года дважды в присутствии государя генерал-лейтенант П. Мельников докладывал свои предложения о прокладке целой сети железных дорог. Было признано необходимым вести транспортные магистрали от Москвы через Тулу, Курск к Харькову и далее к Севастополю, а также от Одессы к Киеву.
В мае 1864 года Александр II издал указ о строительстве железнодорожной линии Москва — Орёл. За четыре года казённую дорогу построили и довели до Курска, а дальше стройку вело акционерное общество. В 1868 году выдана концессия гофмейстеру Александру Агеевичу Абазе (будущему министру финансов) и барону Карлу Карловичу фон Унгерн-Штернбергу на сооружение Харьково-Кременчугской железной дороги. Капитал общества был исчислен в 14 300 000 руб. металлом, из которых лишь 1/4 — негарантированные акции, остальные 3/4 — гарантированные правительством облигации. Повёрстная стоимость — 56 378 руб. с версты.
То, что род Абаза поселился на Слобожанщине ещё при Петре Великом после Прутского похода, когда царь выделил бежавшим молдавским боярам земли под освоение, также способствовало успеху предприятия. Ведь можно было получить компенсации за разрезанную рельсами пашню в собственных имениях. И действительно, в селе Абазовка (ныне — Зачепиловский район Харьковской области) имеет место полустанок, который сейчас называется "92 км".
За работами внимательно следили в Харькове, где губернаторствовал местный уроженец граф Александр Карлович Сиверс. 4 мая 1865 года он направляет письмо харьковскому городскому голове Алексею Скрыннику с просьбой о пожертвовании городской земли для строительства железной дороги, и её быстро удовлетворили.
12 февраля 1866 года на стол государю легло прошение Сиверса о необходимости строительства железной дороги от Москвы до Харькова, а 21 октября в Харькове официально определено место для прокладки будущей железной дороги. Кстати, сам Сиверс в своё имение Старую Водолагу "чугунку" не провёл, там до сих пор нет ни станции, ни полустанка.
Именно благодаря настойчивости графа Сиверса железнодорожная станция в Харькове оказалась не за пределами города, а практически в центре. Для вокзала городская дума выделила заболоченное место под Холодной горой, именуемое Архиерейской левадой. В конце предыдущего царствования генерал-губернатор Сергей Александрович Кокошкин приказал её осушить и добился проведения ровной дороги из центра города на Полтаву и Екатеринослав.
И делал он это не ради будущего пути, а просто из соображения чистоты и порядка. Весь город тогда страдал от вопиющей антисанитарии, но в этих местах уровень, как тогда говорили, миазмов зашкаливал, как и ущерб от подтоплений.
Кокошкин приказал прорывать каналы для осушения болот в низинах. Залопанскую часть, где ныне стоит вокзал, конечно, несколько почистили и подсушили, но канал по Чеботарской улице так и не провели. Генерал-губернаторство новый государь ликвидировал, и некому стало гонять харьковцев ради их же блага. По левую сторону от Екатеринославской по-прежнему росли камыши и квакали лягушки. Жители окрестных улиц точно так же жаловались на миазмы в начале царствования Александра II, как и при предыдущих государях.
В конце февраля 1868 года на имя государя был вынесен на рассмотрение проект, а уже в начале марта на имя харьковского городского головы М. Шатунова из Петербурга поступила телеграмма от известного художественного критика Аполлона Матушинского и писателя Григория Данилевского такого содержания: "Наше ходатайство увенчалось успехом. Состоялось Высокое повеление о построении Курско-Харьковско-Азовской железной дороги. Работы предполагается начать одновременно по всему пути. Поздравляем город!"
Итак, было принято решение о строительстве магистрали, которое и началось в мае 1868 года с участка "Белгород — Харьков". Несколько дней спустя подрядчик С. Поляков телеграфом сообщает: если город не уступит землю бесплатно, то станцию придется расположить за его чертой. Городской голова Шатунов тут же отвечает: "Город Харьков просит назначить станцию на леваде под Холодной Горой. Он уступит свои земли под станцию и дорогу даром, а также примет на себя третью часть издержек на выкуп имений частных лиц".
Уже через год харьковцы встречали первый поезд. Вот как об этом писалось в журнале "Всемирная иллюстрация": "Огромная толпа людей зашаталась, заговорила, заволновалась. Сначала появился дым, потом локомотив, украшенный гербами, флагами и гирляндами зелени, с музыкой на открытой площадке и представителями официальной власти. Человеческая толпа онемела и сначала молча рассматривала, как плавно катилось невиданное чудовище. Кто-то выкрикнул "ура", грянул оркестр и тысячи единодушных "ура" слились со звуками мелодии. Первый поезд состоял из нескольких вагонов и особой платформы — павильона, который был наполнен приличнейшими почтенными особами. Скорость первого паровоза была на то время сравнительно велика: он вышел из Белгорода в 9:00 утра, в 11:00 был в Дергачах, где его встретили губернатор и другие представители власти.
На товарной платформе временного харьковского вокзала были накрыты столы, чуть поодаль подготовлен аналой для молебствия, которое тотчас же и началось по выходу из вагонов официальных лиц. Когда празднества закончились, некоторые смельчаки из публики изъявили желание прокатиться по "чугунке". Вагоны заполнились, и паровоз, выбрасывая из трубы беловато-серые клубы дыма, потянул поезд в обратный путь".
Губернатором, ставшим главным пассажиром этого поезда, был уже не Сиверс, а Пётр Павлович Дурново, будущий тесть гетмана Скоропадского. Регулярное движение по направлению Курск — Белгород — Харьков протяжённостью 229 верст было открыто в июле 1869 года, а ещё до конца того же года заработало и направление от Харькова до Ростова протяженностью 538 верст.
Из Харькова дорога пошла на Лозовую, концессия на строительство оттуда до Севастополя дана Петру Ионовичу Губонину. Губонин из купцов первой гильдии стал действительным статским советником и потомственным дворянином. Он "представлял собою толстопуза, русского простого мужика с большим здравым смыслом. Губонин, как я уже говорил, начал свою карьеру с мелкого откупщика, затем сделался подрядчиком, а потом строителем железных дорог и стал железнодорожной звездой. Он производил на меня впечатление человека с большим здравым смыслом, но почти без всякого образования", — вспоминал о нем С. Ю. Витте.
Екатеринослав был соединён с ней отдельной веткой, начался рост Александровска и Мелитополя. 15 сентября 1874 года в Севастополь прибыл первый поезд, путь был выкуплен казной. К 1877 году территория нынешней Украины уже покрылась сетью железных дорог. И следующая война, которую вела Россия на Балканах, освобождая местные народы от османского ига, в техническом отношении заметно отличалась от Крымской. Эшелоны шли в оба направления, а раненые в срок доставлялись в открытый тогда в Харькове военный госпиталь, существующий и поныне.
К моменту открытия движения поездов вокзал в Харькове ещё не успели возвести, и торжества проводились на стройке. Только в 1874 году первый вокзальный комплекс ввели в строй. Некоторые его строения ещё можно увидеть сегодня на пятой платформе Южного вокзала. Формирование Привокзальной площади завершилось одновременно с открытием Курско-Харьково-Азовской железной дороги. Улица, прошедшая на месте Архиерейской левады, стала Александровской, в советское время — Красноармейской.
В рамках кампании декоммунизации городские власти попытались дать ей имя земляка, главы МПС СССР Конарева, но губернатор Райнин присобачил ей имя попавшего в "Небесную сотню" Котляра.