Джеймс (Джим) Патрик Кэвизел-младший родился 26 сентября 1968 года в Маунт-Верноне, штат Вашингтон. Его мать, Маргарет - бывшая театральная актриса и домохозяйка, отец Джеймс Кэвизел - мануальный терапевт.У Джеймса есть младший брат Тимоти, и три сестры: Энн, Эмми и Эрин.

Джеймс Кэвизел на протяжении двух лет учился в средней школе Маунт-Вернон, а затем переехал в Сиэтл, для того чтобы играть в баскетбол. Во время пребывания в Сиэтле он жил у друзей семьи. Весной следующего года Джеймса перевели в другую католическую школу, среднюю школу имени Джона Кеннеди в Бериен, которую он окончил в 1987 году. После окончания школы Кэвизел поступил в колледж Билив Комюнити, где с ростом 188см. спортсмен играл в баскетбольной команде колледжа. Но на следующий год травма ноги положила конец его надеждам баскетбольной карьеры в НБА. Джеймс был переведен в Вашингтонский университет, где начал заниматься актерским мастерством и стал членом братства «Сигма Чи».

В 1991 году после незначительной роли в фильме «Мой личный штат Айдахо» Кэвизел получил удостоверение Гильдии киноактеров. Затем он переехал в Лос- Анджелес, для того чтобы продолжить свою актерскую карьеру.

В 1993 году Джеймсу предложили стипендию для обучения актерскому мастерству в Джульярдской школе (Нью-Йорк), но он отказался в пользу роли Уоррен Эрп в фильме «Уайатт Эрп». После незначительной роли в картине «Солдат Джейн» (1997), Кэвизела пригласили сниматься в фильм Теренса Малика «Тонкая красная линия». Джеймс Кэвизел снялся в таких известных голливудских фильмах, как «Заплати другому» (2000), «Глаза Ангела» (2001 ), а также «Граф Монте Кристо» (2002). Также критики высоко оценили работ Кэвизела в фильме «Особо тяжкие преступления» (2002).

В 2004 году Кэвизела пригласили исполнить главную роль, роль Иисуса Христа в картине Мела Гибсона «Страсти Христовы». Во время съемок Джеймса дважды ударила молния, его случайно ударили хлыстом, он вывихнул плечо, перенес пневмонию и гипотермию.

В 2006 Кэвизел сыграл главную роль антагониста в боевике Тони Скотта «Дежа вю».

Осенью 2007 года голос Кэвизела был записан в рекординговой компанией Томаса Нельсона и был положен на музыку для релиза к фильму «Обещание».

В 2009 году Кэвизел сыграл французско-иранского журналиста Фрейдуна Сахебджама в драме «Забрасывая камнями». Фильм был снят Стивеном МакИвети}, а партнершей по съемочной площадке стала иранская актриса Шохре Агдашлу. В том же году Кэвизел вместе с Йен МакКеллен снялся в римейке британского научно-фантастического телешоу «Узник».

С 2011 года Джеймс снимается в сериале «В поле зрения».

В 2014 году Кэвизел сыграл в фильме основанном на реальных событиях «Игра на высоте».

В 1993 году Кэвизел пошел на свидание вслепую с Кэрри Броуитт, учительницей английского языка и флейтисткой. 20 июля 1996 года пара законно оформила свои отношения.

У Джеймса и Кэрри двое усыновленных детей из Китая: мальчик Бо Джеймс, и девочка Линн Элизабет (Леле).