Первый брак — с тренером по фигурному катанию Валентиной — продлился 12 лет и завершился разводом ввиду отсутствия детей.

Второй брак — с актрисой Натальей Гвоздиковой — был зарегистрирован после годичного знакомства на съёмках фильма «Рождённая революцией». По сценарию фильма, они тоже были супругами. 2 августа 1976 года родился сын Фёдор, занимается самолётостроением.

В 1994—2001 Жариков имел роман с журналисткой Татьяной Секридовой, которая родила ему сына Сергея и дочь Катю. После того, как Секридова широковещательно объявила об этой связи, Жариков прекратил отношения, впоследствии высказывался о них с сожалением и раскаянием. Гвоздикова простила мужа и сохранила брак.