С 1999 по 2004 год Том Харди был женат на Саре Харди.

Затем Том встречался с Рэйчел Спид, от которой у него есть сын Луи Харди (родился в 2008 году).

В том же 2008 году Том начал встречаться с актрисой Шарлоттой Райли, а в 2010 году Харди сделал ей предложение.

Летом 2014 года влюбленные сыграли свадьбу, куда были приглашены только самые близкие родные пары.

В сентябре 2015 года стало известно, что жена Харди беременна.