С 25 августа 2005 года Роберт женат на продюсере Сьюзан Левин. 7 февраля 2012 года у пары родился сын Экстон Элиас Дауни, а 4 ноября 2014 года у пары родилась дочь Эйври Роэль. Также у Роберта есть сын Индио (родился 7 сентября 1993 года) от предыдущего брака с певицей и моделью Деборой Фалконер.