Джон Роберт Кокер родился 20 мая 1944 года в английском городе Шеффилд, в семье госслужащего Гарольда Кокера и его супруги Мэдж Ли. Кроме Джо в семье вырос старший сын Виктор, также ставший музыкантом.

Дебютные выступления Джо начались в возрасте 12 лет, когда он в качестве барабанщика присоединился к скиффл группе своего старшего брата Виктора.

В 1959 году Джо вместе с тремя друзьями сформировал свою первую группу под названием «The Cavaliers», в которой был барабанщиком, а также иногда играл на губной гармошке.

В 1960 году Джо Кокер стал вокалистом группы и начал покорять слушателей различных пабов, где они выступали, своим хрипловатым, но приятным голосом.

В 1961 году он берет себе псевдоним Vance Arnold и формирует новую группу под названием «The Avengers», которая в основном делала кавер-версии песен Чака Берри и Рэя Чарльза.

В 1963 году «The Avengers» Джо Кокера получила первую большую возможность прославиться, группу пригласили на разогрев Шеффилдского сити-холла перед концертом «Rolling Stones».

В 1964 году Джо ушел из группы и подписал контракт с лейблом Decca как сольный певец. Первой его сольной работой стал кавер на песню группы «The Beatles» - «I’ll Cry Instead». Однако песня не имела успеха и Decca расторгла контракт с Кокером.

В 1966 году Джо Кокер вместе с Крисом Стэйнтоном формирует группу под названием «The Grease». Группа успешно выступает в пабах по всему Шеффилду, а после демо записи «Saved» (1967), продюсер Денни Корделл приглашает их в Лондон для создания студийной записи песни «Marjorine».

В 1968 году Джо выпускает сингл, который приносит ему общенациональную известность. Его кавер-версия песни«With a Little Help from My Friends» группы «The Beatles» с момента выхода получила первую строчку британского чарта, а также получила небольшой успех в США.

В 1969 году Джо вместе с группой «The Grease» выпускает дебютный альбом – «With a Little Help from My Friends», который достигает 35 строчки U.S. Billboard, а также становиться золотым.

В том же году Джо выпускает свой второй альбом под названием «Joe Cocker!». Следуя тенденциям дебютного альбома, этот тоже состоит из многочисленных кавер-версий песен таких исполнителей, как Боб Дилан, «The Beatles» и Леонард Коэн.

К концу 70-х Джо выпускает еще четыре альбома, включая «I Can Stand a Little Rain» (1974), «Jamaica Say You Will» (1975), «Stingray» (1976) и «Luxury You Can afford» (1978), однако ни один из них не стал популярным.

И хотя он не находит большого успеха со своими альбомами, Джо становится известным благодаря живым исполнителям. Все десятилетие 1970-х годов Джо гастролировал по всему миру и выступал с множеством концертов в США, Великобритании и Австралии.

В 1982 году Джо в дуэте с Дженнифер Уорнс записывает сингл «Up Where We Belong», который становиться саундтреком к фильму «Офицер и джентльмен» и получает за это премию «Оскар».

Его студийными альбомами 1970-х становятся «Sheffield Steel» (1982), «Civilized Man» (1984), «Unchain My Heart» (1987) и «One Night of Sin» (1989).

В 1990-х и 2000-х Джо Кокер продолжает гастролировать и выпускать альбомы, так за эти два десятка лет его дискография пополнилась 9 студийными альбомами.

Также за это время Джо принимал участие в некоторых великих мероприятиях, таких как концерт в честь дня рождения Нельсона Манделы, шоу «Princes Trust Gala», шоу по случаю падения Берлинской стены. Кроме того, Кокер выступал на церемонии инаугурации президента Джорджа Буша.

В 2012 году Джо Кокер выпускает свой 23-й студийный альбом под названием «Fire It Up», который становиться для него последним.

В сентябре 2014 года стало известно, что после нескольких лет борьбы с раком легких состояние его здоровья сильно ухудшилось.

22 декабря 2014 года Джо Кокер умер.