В конце 2000 года Холли начала встречаться с основателем журнала «Playboy» Хью Хефнером. В 2008 году, после семи лет отношений, пара рассталась.

В том же 2008 году Холли начала встречаться с голливудским фокусником Крисом Энджелом. Но спустя год пара рассталась.

С 2009 по 2010 год Мэдисон встречалась с гитаристом группы Good Charlotte Бенджи Мэдденом.

В июле 2010 года звезда «Playboy» начала встречаться с музыкантом Джеком Баракатом. В мае 2011 года Холли и Джек расстались.

В конце 2011 года Холии встретила бизнесмена Паскаля Ротелла, с которым у них завязался роман. В августе 2012 года пара объявила, что ждет ребенка.

5 марта 2013 года Холли родила дочку Рейнбоу Орора.

23 июня 2013 года Паскаль и Холли обручились.