Джоан Фонтейн была замужем четыре раза. Первым мужем актрисы был актер Брайан Ахерн, их брак продлился с 1939 по 1945 год.

В 1946 году Джоан вышла замуж за актера и продюсера Уильяма Досиера. В 1948 году у них родилась дочь Дебора Лесли. Пара рассталась в 1949 году, но официально брак расторгли лишь в 1951 году.

12 ноября 1952 года третьим мужем Фонтейн стал продюсер и писатель Кольер Янг. Их брак распался в 1960 году.

23 января 1964 года актриса вышла четвертый раз замуж за редактора Sports Illustrated Альфреда Райат-младшего. Они расстались в 1969 году.

В 1951 году на кинофестивале в Южной Америке, Фонтейн встретила 4-летнюю перуанскую девушку по имени Мартита, и неофициально удочерила ее. Фонтейн встретила Мартиту во время посещения руин инков, где отец девочки работал сторожем. Родители Мартиты позволили Фонтейн стать законным опекуном их дочери для того, чтобы дать ребенку лучшую жизнь. Фонтейн обещал им, что пошлет девушку обратно в Перу для посещения родителей, когда Мартите исполнится 16 лет. Когда девочке исполнилось 16, Фонтейн купил ей билет в Перу и назад, но Мартита отказался лететь и убежала.