Морган Фриман был женат дважды, у него два внебрачных сына и две дочери.

13 сентября 1959 года у Моргана родился сын Альфонсо, в отношениях с Лолетой Адкинс. Альфонсо пошел по стопам отца и стал актером.

В 1960 году у Фримана родился второй сын Сайфулай.

С 22 октября 1967 по 18 ноября 1979 года Морган был женат на Джанетт Эдэйр Брэдшоу. В этом браке у него родилась дочь Моргана (1971 года рождения). Также Фриман удочерил дочь Джанетт от первого брака Дину.

С 16 июня 1984 по декабрь 2007 года Морган Фриман был женат на Мирне Колли-Ли.

16 августа 2015 года приемная внучка Фримана, И’Дена Хайнс, была убита.

Фриман свободно говорит по-французски, имеет лицензию пилота и постоянный участник благотворительных акций.