Марвин Гэй родился 2 апреля 1939 года в Вашингтоне в семье христиан. С трёх лет пел в церковном хоре, потом подростком учился играть на органе. К 15-ти годам освоил клавишные и ударники и выступал с различными уличными негритянскими группами, в том числе «The Rainbows» и «Moonglows», игравшими в стиле «ритм-энд-блюз». В 1957 году присоединился к группе «Marquees», которая исполняла романтичные джаз-баллады и даже выпустила один альбом. В 1961 году Марвина заприметил Берри Горди, основатель звукозаписывающего лейбла Motown Records, которого поразил его прекрасный юный голос глубиной в три октавы, и предложил контракт.

С 1962 по 1965 года Марвин Гэй продолжал работать преимущественно в стиле «ритм-энд-блюз», его наиболее известными композициями были «Can I get a witness» (1963) и «Stubborn kind of fellow», вошедшая в рэб TOP10. Затем по идее продюссеров Motown Марвин начинает записываться дуэтом с такими известными исполнительницами как Мэри Уэллс (Mary Wells), Ким Уэстон (kim Weston) и Тамми Тэррелл (Tammi Terrell). Среди его композиций были в основном романтичные блюзы и ритмичные танцевальные джаз-сюиты, в том числе знаменитая «Baby don’t do it» (1967).

В 1970 году, после трагической гибели своей последней партнёрши Тамми Тэррелл от инсульта прямо на сцене, Марвин резко меняет свой стиль. Его новый альбом «What’s going on» (1971), представлявший собой смесь джаза, фанка и классики, затрагивал многие серьёзные проблемы, такие как расизм и наркомания. Несмотря на опасения Motown Records, этот альбом имел колоссальный успех. Особенно пользовалась популярностью фанк-композиция «Mercy, mercy me». Благодаря выходу этого альбома Марвин Гэй постепенно добивается творческой и финансовой независимости от Motown. А следующий альбом «Let’s get it on» (1973) становится самой его успешной работой.

Марвин Гэй проложил дорогу на сцену многим талантливым фанк-исполнителям. Именно он вывел на сцену молодого Стиви Уандера, а в 1973 году вышел его совместный альбом с Дайяной Росс.

К сожалению, зло, с которым боролся Марвин в своих песнях, не обошло и его самого. Его записи конца 70-х годов выдают понемногу разрушающее его пристрастие к кокаину. Спасаясь от налоговых проблем, в 1980 году Марвин переезжает в Европу, где вскоре выходит один из его последних прижизненных концертных альбомов «In our lifetime».

Последний его альбом «Midnight love» (1982) и композиция «Sexual healing» с него были удостоены премии Грэмми в категории «Лучший мужской вокал в стиле Rhythm&Blues».

Отец Марвина, священник, считая что профессия певца позор для его семьи, в одной из ссор за семейным столом застрелил Марвина (1 апреля 1984 года).

В 2008 году американский музыкальный журнал Rolling Stone присвоил Марвину 6-е место в списке самых величайших певцов всех времен, и 18-е из 100 величайших артистов всех времен.