Отец Эдриена Броуди Элиот Броуди — преподаватель истории и художник польско-еврейского происхождения; мать — фотограф Сильвия Плачи (Sylvia Plachy), рождённая в Будапеште в семье католика из венгерского аристократического семейства и чешской еврейки.

Сильвия Плачи покинула Венгрию с родителями в 1956 году и поселилась в США двумя годами позже. По словам самого актёра, его семья имеет корни в Восточной Европе.

Актёр никогда не был женат, детей нет.