С 1992 по 2004 годы был женат на модели Деборе Фалконер. У них есть сын Индио, который родился 7 сентября 1993 года.

В 2003 году на съемках триллера "Готика" Роберт встретил Сьюзан Левин.

Влюбленные поженились 27 агуста 2005 года.

Летом 2011 года стало известно о беременности Сьюзан. 7 февраля 2012 года у супругов родился сын Экстон Элиас Дауни.

Летом 2014 года Роберт Дауни мл. на своей страничке в социальной сети сообщил, что они с супругой ждут еще одного ребенка, и это будет девочка.

4 ноября 2014 года Роберт и его супруга Сьюзан стали родителями во второй раз, у них родилась дочь Аври Роэл.