Джоэл познакомился с Хилари Дафф в 2004 году, когда ей было 16 лет, а ему было двадцать четыре. В 2005 году у Хилари и Джоэла был тайный брак, который они скрывали от всех, так как совершен он был в состоянии алкогольного опьянения в Лас Вегасе. Позже брак был аннулирован. В ноябре 2006 года после двух с половиной лет, Мэдден и Дафф расстались.

Мэдден начал встречаться с Николь Ричи вскоре после того, как он и Дафф расстались. У Джоэла и Николь двое детей: дочь Харлоу Винтер Кейт Мэдден (род. 11 января 2008 г.) и сын Спарроу Джеймс Миднайт Мэдден (род. 9 сентября 2009 г.).