3 июня 2006 года Кейси женился на Саммер Феникс, родной сестре Хоакина и Ривера Фениксов. Именно Хоакин и познакомил Кейси и Саммер, они встречались с 2000 года. У пары двое сыновей: Индиана Август (родился в 2004) и Аттикус (родился в 2007).

Кейси очень любит животных, в детстве у него были кошки, змеи, морские свинки, черепахи. Сейчас он является активным членом движения за права животных, поддерживает такие организации, как PETA и Farm Sanctuary. Кейси придерживается строгой веганской диеты.

В детстве некоторое время Аффлек жил в Мексике, поэтому он свободно владеет испанским.