В 1998 году Брендан Фрэйзер женился на актрисе Афтон Смит, в браке с которой родилось трое сыновей: в 2002-ом Гриффин Артур, в 2004-ом Холден Флетчер и в 2006-ом Леланд. В 2007 году Фрэйзер и Смит заявили о разрыве отношений.

Среди увлечений актера можно назвать фотографию. Он имеет гражданство США и Канады, бегло говорит по-французски.