С самого начала своей музыкальной карьеры Робби все время оказывался в центре внимания прессы благодаря своей личной жизни. Тексты песен Take That носили двусмысленный характер и постоянно наводили на мысль о нетрадиционной сексуальной ориентации исполнителей. Робби часто отшучивался от обвинений в свой адрес, но это еще больше закрепляло мнение о его гомосексуализме. Поговаривали, что продюсеры артиста даже запещали Робби связывать себя серьезными отношениями (и тем более браком), чтобы не отсеять преданных фанатов-геев. То ли Уильямс одумался и стал слушаться начальство, то ли ему самому нравилось крутить интрижки без обязательств.

В 1998 году певец устал от провокационных статей в прессе и закрутил бешеный роман с вокалисткой группы All Saints Николь Эпплтон.

А в 2006 году Робби отправился на свидание в слепую, где познакомился с актрисой Эйде Филд. В 2009 году певец сделал предложение в прямом эфире по радио. Ох, и нелегко же было бедной девушке, когда Робби заявил, что это была шутка. Просто для рейтинга шоу! Над горе-невестой посмеивались в прессе. Довериться такому дебоширу и бабнику было и вправду глупостью. Но о всей видимости, оскорбленной девушке удалось взять быка за рога. Неизвестно, какой скандал закатила она Робби за неудачную шутку, но свадьба таки состоялась.

В августе 2010 года пара поженилась, торжество обошлось провинившемуся Робби в $12 миллионов. 30 марта 2012 года Робби и Эйда объявили о том, что они ждут ребенка.

18 сентября 2012 года у них родилась дочь Теодора Роуз Уильямс.

28 апреля 2014 года Робби сообщил в социальной сети Твиттер, что во второй раз собирается стать отцом. Певец написал: "Мы с Эйдой рады сообщить, что Теодора Роуз Уилльямс станет старшей сестрой".

27 октября 2014 года супруга певца Эйда родила ему сына Чарльтона Валентина.