Андрей Панин — отец троих детей. От первого брака у него взрослая дочь Надежда, а от брака с актрисой Натальей Рогожкиной — сыновья Александр и Пётр.