Джейсон Шварцман женат на Брэди Каннинхэм, известном дизайнере одежды. 4 декабря 2010 года на свет появился их первый ребенок, дочь Мэлроу Риверс. В июне 2014 года стало известно, что у супругов родилась вторая дочь.