С декабря 2003 по март 2006 года Адам встречался со своей партнершей по сериалу "O.C." Рэйчел Билсон.

С 2009 по 2011 год Броди встречался со сценаристом Лорен Скафарией.

В январе 2013 года он начал отношения с актрисой Лейтон Мистер. В ноябре 2013 года пара обручилась.

В свободное время Адам пишет сценарии и песни, играет на барабанах в группе Big Japan. Как и его персонаж из "О.С." он любит рок. Любимые группы актера: "Death Cab for Cutie", "Interpol", "Modest Mouse".

В середине мая 2015 года стало известно о том, что Адам и Лейтон ждут появления на свет их первенца. Малыш должен родиться летом 2015 года.

4 августа 2015 года Лейтон Мистер родила Адаму дочь. Малышку назвали Арло Дэй.