Во времена начала творческой деятельности Броуди встречался с моделью DJ Скай Неллор, позже, когда пришёл в мир кино, с актрисой Моне Мазур. На церемонии вручения «Оскара» в 2003 году страстно поцеловал Холли Берри, что послужило поводом для сплетен в СМИ о романе между ними. После съёмок в фильме «Пиджак» Броуди приписывали роман с Кирой Найтли.

В 2007 году во время съёмок в фильме «Манолете» в Испании познакомился с испанской актрисой Эльзой Патаки. Они встретились на занятиях у известной преподавательницы языка, куда Броуди пришёл за испанским акцентом, а Патаки за английским произношением. Она является его невестой на сегодняшний день.

Дружит с актёрами Азией Ардженто и с Бенисио дель Торо. Был очень хорошим другом рэпера Тупака Шакура, с которым снимался в кинокартине «Пуля» в 1996 году.