В 1990 году, еще во время учебы в старшей школе Бен Аффлек начал встречаться с девушкой по имени Шайенн Ротман. После семи лет отношений пара рассталась.

С 1997 по 2000 год Бен встречался с актрисой Гвинет Пэлтроу.

С 2002 по 2004 год у Аффлека были отношения с певицей и актрисой Дженнифер Лопес. Пара была обручена, однако до свадьбы дело так и не дошло.

В том же 2004 году Бен начал встречаться с актрисой Дженнифер Гарнер, с которой 29 июня 2005 года вступил в брак. В этом браке Бен трижды стал отцом, Дженнифер родила ему двоих дочерей - Вайолет Энн (родилась 1 декабря 2005 года) и Серафину Роуз Элизабет (6 января 2009 года), и сына Сэмюэля (27 февраля 2012 года).

В конце июня 2015 года Аффлек и Гарнер подали на развод.

В конце сентября того же года стало известно, что Дженнифер беременна от Бена, и пара старается наладить отношения.