Бен Фостер с 2000 до марта 2001 года встречался с актрисой Кирстен Данст.

В 2006 году Фостера связывали отношения с актрисой Эллен Пейдж. В 2007 году пара рассталась.

С августа 2007 до начала 2009 года Бен встречался с дочерью музыканта Ленни Кравица Зои Кравиц.С начала 2012 года Бен Фостер состоит в отношениях с актрисой Робин Райт, которая на 15 лет старше его. В начале 2014 года Бен Фостер сделал предложение возлюбленной и она дала согласие.