Женат на телеведущей Оксане Гутцайт, у супругов двое детей.
Гутцайт начал заниматься фехтованием в 1980 году у заслуженного тренера Украины Александра Оболенского. В дальнейшем тренировался под руководством Заслуженного тренера СССР по фехтованию Михаила Когута. Выступал за «Динамо» (Киев).
В 1993 году окончил Киевский государственный институт физической культуры. С декабря 1993 по август 2002 года проходил службу в Вооруженных силах Украины (ВСУ).
На чемпионате мира по фехтованию в 1991 году занял 3-е место в индивидуальном зачете от СССР, а в 1999-м — 11-е место от Украины.
Также Гутцайт становился победителем в командном зачете от Объединенной команды стран бывшего СССР на Олимпийских играх в Барселоне в 1992 году. На Олимпийских играх в Атланте в 1996-м занял 6-е место в личном зачете от Украины, а в Сиднее в 2000-м — 13-е место.
Принимал фехтовальщик участие и в двух Маккабиадах, где в 2001 году взял серебро в индивидуальном зачете, а в 2005-м — золото в индивидуальном и командном зачетах.
После завершения выступлений в соревнованиях Гутцайт перешел на тренерскую работу. В 2002-2010 годах был главным тренером сборной Украины по фехтованию, и в 2008 году украинская команда саблисток под его руководством завоевала золото на Олимпийских играх в Пекине.
С февраля по декабрь 2010 года спортсмен был гендиректором госпредприятия «Олимпийский учебно-спортивный центр». Затем — с декабря 2010 года по апрель 2012 года — исполнительным директором «Олимпийского учебно-спортивного центра» госпредприятия «Объединение спортивно-хозяйственных сооружений». А с 2012 по 2017 год Гутцайт руководил «Олимпийским учебно-спортивным центром "Конча-Заспа"».
На сегодняшний день Гутцайт является членом исполкома Национального олимпийского комитета Украины, вице-президентом Украинской академии спорта, президентом Федерации фехтования Украины и начальником Департамента молодежи и спорта Киевской городской госадминистрации.
За свои заслуги Гутцайт в 1992 году был удостоен звания Заслуженного мастера спорта СССР, затем в 2003-м — Заслуженного тренера Украины. Также имеет три ордена «За заслуги»: І степени (2012), II степени (2008) и III степени (1997).
С 2004 года спортсмен является Заслуженным работником физической культуры и спорта Украины.
Гутцайт был помощником-консультантом народного депутата Украины Эльбруса Тедеева от фракции Партии регионов в V и VI созывах Верховной Рады (с 2006 по 2012 год).
В 2014 году в спортивных кругах поговаривали о Гутцайте как о возможном претенденте на должность министра молодежи и спорта Украины. В этот же период в ряде СМИ появилась информация о якобы выявленных в ходе аудита на Олимпийской базе в Конча-Заспе, которой руководил Гутцайт, нарушениях на сотни тысяч гривен. Однако, видимо, эти данные не были подтверждены.
На парламентских выборах 2019 года Гутцайт шел под №81 в списке кандидатов в нардепы от партии «Слуга народа», однако впоследствии отказался идти на выборы.
4 марта 2020 года был назначен Верховной Радой министром по вопросам спорта Украины.