Поляков родился в 1921 году в Старобельске — на тот момент городе Донецкой губернии УССР. Ныне он входит в состав Луганской области. Земляком Полякова был знаменитый ныне Георгий Лангемак — один из отцов реактивной артиллерии и советской ракетной техники, казненный в годы Большого террора.
О ранних годах Полякова практически ничего не известно. За исключением того, что после окончания школы он поступил в Сумское артиллерийское училище. В годы ВОВ был офицером артиллерии, имел несколько боевых наград. Прямо на фронте вступил в партию.
По окончании войны перспективный молодой офицер (к 24 годам Поляков уже был майором) был направлен в Военную академию им. Фрунзе. После учебы он был переведен в ГРУ и еще в сталинскую эпоху был командирован в США, где пять лет прослужил в Военно-штабном комитете ООН (комитет объединяет начальников штабов стран — членов Совета Безопасности).
Во второй раз Поляков приехал в США уже в 1959 году, опять же, для формальной работы в ВШК ООН, хотя по факту он был одним из руководителей сети советских нелегалов в Америке.
Именно в этот период он и перешел на другую сторону.
Произошло это в 1961 году, когда Поляков по своей инициативе вышел на ФБР и предложил Бюро свои услуги.
Мотивы, подтолкнувшие Полякова сделать это, до сих пор не совсем ясны.
Его карьера развивалась весьма успешно, вряд ли он чувствовал себя ущемленным в карьерном отношении. Виктор Черкашин, тоже работавший в Америке, но не от ГРУ, а от КГБ, объяснял поступок Полякова местью. В США у Полякова серьезно заболел старший сын, но начальство отказалось помочь ему с лечением ребенка и выделить средства на операцию, в результате чего мальчик умер. Американцы, работавшие с Поляковым и впоследствии оставившие мемуары об этом, отрицали, что у него была хоть какая-то материальная заинтересованность.
Поляков сдал всю сеть американских нелегалов и заодно навел на агента Ми-6 Боссарда, который также работал на СССР. Возвращаясь в СССР, Поляков дал согласие на дальнейшее сотрудничество и был передан из ведения ФБР в ЦРУ. Там его переименовали. В Бюро Поляков фигурировал как агент Цилиндр, в ЦРУ превратился в Бурбона.
Планировалось, что Поляков вернется в США в третью командировку через несколько лет. Однако вместо этого он кочевал по Юго-Восточной Азии. Был военным атташе в Бирме, главой индийской резидентуры.
Существуют разные точки зрения на причины неожиданных изменений в карьере. Согласно наиболее популярной версии, в СССР посчитали, что Полякова раскрыли в США, поскольку в одной из публикаций в СМИ он был упомянут как один из руководителей советской нелегальной сети в США. Но есть и другие точки зрения.
Например, Уильям Салливан — начальник отдела внутренней разведки ФБР и заместитель Гувера, считал, что после возвращения в Москву Поляков был раскрыт и в дальнейшем использовался советскими спецслужбами для дезинформации американцев. Впрочем, надо отметить, что Салливан вообще всех советских агентов подозревал в том, что они «засланные казачки». Кроме того, разоблаченного перебежчика в СССР вряд ли стали бы повышать в звании, а Поляков впоследствии был повышен до генерал-майора.
Вернувшись из последней командировки в Индию, Поляков возглавил один из факультетов Военно-дипломатической академии. В этом заведении готовили будущих нелегалов ГРУ, так что Поляков наперед знал почти всех будущих советских агентов.
Выйдя на пенсию, Поляков остался в ГРУ, устроившись в управление кадров. Он не вызывал никаких подозрений и, весьма вероятно, остался бы в истории как заслуженный сотрудник органов разведки и орденоносный ветеран войны.
Однако в 1985 году КГБ улыбнулась удача. Самая большая за всю историю холодной войны. В этом году удалось завербовать Олдрича Эймса, который возглавлял контрразведывательный отдел ЦРУ по СССР. Эймс спалил почти всю сеть американских агентов в СССР.
Полякова арестовали в 1986 году.
Причем особой огласки этого громкого дела не было. Несмотря на то что в конце 1980-х уже началось сближение СССР и США, наказали генерала ГРУ по всей строгости. Он был приговорен к смертной казни и расстрелян 15 марта 1988 года. При этом информация о приведении приговора в исполнение даже не обнародовалась почти до самого распада СССР.
На фоне улучшения отношений и постепенного затухания холодной войны американцы предлагали обменять Полякова на отбывающих в США наказание советских агентов. Однако к этому моменту генерал уже был казнен.