Холли Мэдисон родилась как Холли Каллен 23 декабря 1979 г. в Астории, Орегон, США.

Ее отец путешествовал по свету, работая в деревообрабатывающей промышленности. С 2 до 11 лет Мэдисон воспитывалась на Острове Принца Уэльского, Аляска, около Кетчикана. Затем ее семья перебралась обратно в Сант-Хеленс, Орегон. Мэдисон пошла учиться в государственный Университет Портленда, где в течение двух лет главным образом изучала психологию и театральное искусство, успевая развиваться сразу же в двух мажорных областях.

В 1999 г. Мэдисон перебралась в Лос-Анджелес, чтобы учиться в Университете Лойола Мэримаунт. Она должна была оплачивать обучение, и начала зарабатывать деньги как модель, став лицом брэнда «Hawaiian Tropic», лосьона для загара, и сотрудничая в том же статусе с частной сетью ресторанов «Hooters».

Как итог, Мэдисон была приглашена в одно из самых известных мест Калифорнии, в Особняк Плейбоя (дом основателя журнала «Плейбой» Хью Хефнера) в Беверли-Хиллз. На тот момент у всемирно известного ловеласа уже было семь подружек, иными словами, семь гражданских жен. Однако Холли все-таки перебралась в шикарные апартаменты и стала одной из официальных девушек Хефнера в августе 2000 г.

В феврале 2002 г., когда все, кроме трех девушек Хефнера, оставили его из-за бесчисленных скандалов, Мэдисон была провозглашена его «девушкой номер один» и перебралась в главную спальню особняка. Можно сказать, он «пожертвовал количеством ради качества». Две другие подруги Хефнера, Бриджет Марквардт и Кендра Уилкинсон, также получили по огромной спальне, но поодаль от главной пары. В 2008 г. после успеха Мэдисон как главной персоны «Плейбоя», она была объявлена девушкой топ-листа лучших девушек «Hooters’а» 2008 г., приуроченного к 25-й годовщине сети ресторанов.

Холли в открытую заявила, что использовала пластическую хирургию, ринопластику носа и увеличение груди (от размера A до D).

В 2003 г. Мэдисон стала участницей «Кибер-девочек недели», иллюстрированного приложения веб-сайта «Плейбоя». Также она появилась на обложке и на страницах ноябрьского выпуска журнала «Плейбой» в 2005 г. вместе с Марквардт и Уилкинсон как часть специального промоутинга реалити-сериала «The Girls Next Door». Девушки появились на обложке вновь, в сентябрьском выпуске 2006 г. и мартовском 2008 г.

В третьем сезоне реалити-шоу, в эпизоде «My Bare Lady», Мэдисон заявила, что хочет начать продюсерскую карьеру «Плейбоя». В течение третьего и четвертого сезонов Холли была показана зрителям, вовлеченная в работу на студии «Плейбоя» в качестве молодого специалиста и редактора. Также она помогла с дизайном и подбором девушек для календаря «The Girls Next Door» 2008 г.

Объявив себя любительницей животных, Мэдисон в 2006 г. начала писать статьи о домашних животных для журнала «The Coolest Little Pet». С тех пор она стала называть себя «хозяйкой дворняжек особняка». В апреле 2007 г. Мэдисон в обнаженном виде появилась в публикациях в поддержку организации, выступающей за этическое отношение к животным, PETA. Подзаголовок для статьи говорил сам за себя: «Я, скорее, пойду голой, чем стану носить мех».

В прошлом Мэдисон заявляла, что хочет стать женой Хью Хефнера и родить ему детишек. Да и сам 80-тилетний «папочка» заявил следующее: «У Холли моё сердце, почему у неё не может быть моей спермы?». В одном из мартовских интервью 2008 г. Хефнер сказал: «Я люблю Холли, очень сильно, и, думаю, мы будем вместе до остатка моих дней, однако брак – он никогда не являлся кусочком моего паззла». Да и времена, когда он был законным мужем, были не лучшим временем в его жизни, поэтому вспоминать об этом он не любит.

Скандальная жизнь трех великолепных девушек со стариком-плейбоем, где все три «жены» чувствовали себя хозяйками в его доме, по словам всего семейства, на самом деле была настоящими крепкими взаимоотношениями, хотя ревности при этом никто не исключал.

7 октября 2008 г. Мэдисон в видео для TMZ.com заявила, что их отношения с Хефнером закончились, но она, Бриджет Марквардт и Кендра Уилкинсон «все еще снимают видеоматериал вместе». Хефнер подтвердил разрыв, сказав: «Если Холли говорит, что все кончено, я предполагаю, что так оно и есть». Также он подтвердил, что все три девушки продолжать съемки в шестом сезоне «The Girls Next Door» и что он планирует найти себе новых девушек для «гарема» в его особняке.

В начале 2009 года Холли принимала участие в шоу «Танцы со звездами».

В мае 2009 года Мэдисон была одной из участниц самого длинного парада бикини в мире, который проходил в Лас-Вегасе.

Также в 2009 году Холли сыграла главную роль в фильме «Повелители теней».

С 2009 по 2011 год Холли была участницей реалити-шоу «Мир Холли».