В 1993 году Кэвизел пошел на свидание вслепую с Кэрри Броуитт, учительницей английского языка и флейтисткой. 20 июля 1996 года пара законно оформила свои отношения.

У Джеймса и Кэрри двое усыновленных детей из Китая: мальчик Бо Джеймс, и девочка Линн Элизабет (Леле).

Кэвизел и его жена Кэрри строгие католики. Кэрри работает волонтером во многих благотворительных организациях и оказывает поддержку одиноким матерям.