В личной жизни Андерсон отличается завидным постоянством. На протяжении нескольких лет он встречался с певицей Фионой Эйпл, её можно увидеть в кадрах картины «Магнолия». После расставания с ней режиссёр предложил руку и сердце звезде скетч-камеди-шоу Saturday Night Live Майе Рудольф (Maya Rudolph).

Пара живёт в Лос-Анджелесе и растит двух дочерей: Перл Минни Андерсон (Pearl Minnie Anderson, 2005 г. р.) и Люсиль (Lucille, 2009 г. р.)