С 1978 по 1984 год Джо Пантолиано был женат на актрисе Морган Кестер. В этом браке у Джо 11 января 1981 года родился сын Марко.

18 февраля 1994 года Джо женился во второй раз, его избранницей стала актриса и модель Нэнси Шеппард. В этом браке Джо стал отцом еще троих детей: сына Бобби, и двух дочерей - Мелоди и Изабеллы.