Андрей Кончаловский был женат пять раз, его женами были:

1. Ирина Кандат, балерина (с 1955 по 1957 гг.).

2. Наталья Аринбасарова, балерина и актриса (с 1965 по 1969 гг.).

3. Вивиан Михалкова (Годе), француженка, востоковед (с 1969 по 1980 гг.).

4. Ирина Мартынова, диктор телевидения (с 1990 по 1997 гг.).

5. Юлия Высоцкая, актриса и телеведущая (с 1998 года)

Дети:

Сын Егор Кончаловский (род. 1966), кинорежиссер, от второй жены.

Дочь Александра (род. 1970) (от третьей жены).

Дочери: Наталья (род. 1991) и Елена (род. 1993) от Ирины Мартыновой.

Есть дочь Дарья от актрисы Ирины Бразговки.

Дочь Мария (род. 1999), сын Пётр (род. 2003) от Юлии Высоцкой.

В декабре 2013 года стало известно, что Андрей и Юлия ждут рождения третьего ребенка.