Первая жена Лэнса Армстронга — Кристин Ричард (Kristin Richard), активистка благотворительного движения помощи раковым больным, помогала ему бороться с болезнью. У них трое детей: мальчик — Люк-Луи Давид (род. 1999) и две девочки-близняшки — Грейс и Изабель. Но в 2003 году Лэнс развелся с супругой, с которой прожил 5 лет.

Потом 2 года Армстронг встречался с известной американской певицей Шэрил Кроу и едва не женился на ней, объявив в 2005 году о помолвке. Но свадьба не состоялась.

В настоящее время его подругой является Анна Хансен, в 2009 году у них родился сын Макс, а в октябре 2010 года — дочь Оливия Мария.