Родился 19 июля 1898 года в еврейской семье в Берлине. Во время Первой мировой войны был призван в немецкую армию.

В 1918 году Маркузе становится членом солдатского Совета, принимавшего участие в Ноябрьской революции и социалистическом восстании «Союза Спартака» (будущей Коммунистической партии Германии). Сговор руководства Социал-демократической партии Германии с реакционными кругами высшего немецкого генералитета и известие об убийстве фрайкорами Розы Люксембург и Карла Либкнехта, заставил его покинуть СДПГ, в рядах которой он состоял в конце войны. Вместе с тем, Маркузе, в отличие от большинства будущих представителей Франкфуртской школы, сохранил связь с организованным рабочим движением. После получения степени доктора литературы в 1922 году в Университете Фрайбурга некоторое время проработал в книжной лавке в Берлине.

В 1928 году он возвращается в Фрайбург, чтобы продолжить изучение философии под руководством философа-экзистенциалиста Мартина Хайдеггера.

Затем испытал влияние фрейдизма и марксизма и стал работать в Институте социальных исследований (Institut für Sozialforschung) при университете Франкфурта-на-Майне вместе с Теодором Адорно и Максом Хоркхаймером. Вначале марксизм и фрейдизм не считались близкими учениями, но уже в начале 1930-х, когда были опубликованы рукописи молодого Маркса, «франкфуртцы» обнаружили в этих рукописях мысли по многим проблемам, широко обсуждавшимся среди фрейдистов.

После прихода нацистов к власти в 1933 году почти все члены института, в том числе и Маркузе, эмигрируют в США. Для него было большой неприятностью узнать, что значительная часть немецкой интеллигенции, включая его бывшего учителя Хайдеггера, приняла нацизм. «Франкфуртцы» были одними из тех, кто принес в Америку европейские традиции в образовании. Созданная ими в Нью-Йорке «Новая школа социальных наук» действует и сейчас (2007). Маркузе обращается к исследованию психологии коллектива и личности, его интересует, как общество может деформировать личность. После 1945 года Маркузе работает в Германии экспертом американской разведки по денацификации.

Он много времени посвящает выяснению, можно ли того или иного человека считать нацистом по убеждению, нацистом ради карьеры (как это сделал его бывший учитель Хайдеггер, вступивший в НСДАП, не желая расстаться с профессорским креслом), или же нацистом, ставшим таковым по принципу «все вступали и я вступал». После того как денацификация стала сворачиваться и разгорелась холодная война, Маркузе ушёл из разведки. Но за это время он успел поработать с колоссальным количеством документов. Особенно его заинтересовала советская пропагандистская и идеологическая литература. По ней Маркузе написал книгу «Советский марксизм», где было изложено подробное описание советского марксизма-ленинизма и его критика, как с точки зрения классического марксизма, так и с точки зрения Франкфуртской школы.

В отличие от Маркса, Маркузе уже не верит в решающую роль рабочего класса, считая, что общество потребления развратило всех. В знаменитой книге «Одномерный человек» для Маркузе нет героев. Все жертвы и все зомбированы, никто не действует по собственной воле. На Западе человек одномерен, поскольку им манипулируют. Общество стало бесклассовым, но оно далеко от марксова идеала коммунизма. Вместо коммунизма получилось одномерное общество, неототалитарная Система, существующая за счет гипноза средств массовой информации, которые внедряют в каждое индивидуальное сознание ложные потребности и культ потребления. Революционная роль перешла к маргиналам и представителям авангардного искусства (тезис контркультура как наследник пролеткульта). Единственное, что они могут противопоставить Системе — это Великий Отказ, тотальное неприятие Системы и её ценностей.

В СССР сама идеология становится фактором отчуждения. Она гораздо грубее, чем на Западе, но тем самым дает людям некий шанс уйти от политики в культуру. Этим, по Маркузе, и объясняется развитие литературы и искусства в СССР вопреки диктату КПСС.

В книге «Контрреволюция и бунт» он, исследуя причины поражения «Парижской весны» 1968 года, уже видит в студенческом движении детонатор, который должен запустить большой мотор рабочей революции. Маркузе считает, что «Парижская весна» потерпела поражения не только из-за ограниченности социальной базы. Он вводит новое понятие «превентивной контрреволюции», которая является не просто ответом реакционных классов на революцию, но которая может начаться «превентивно», то есть предварительно, ещё до того, как началась революция, точно так же, как прививка против болезни, вызывая эту болезнь в самой лёгкой форме, приводит в действие механизм иммунитета, делая человека невосприимчивым к самой болезни. Для противодействия этому нужно расширять социальную базу революции.

В СССР отношение к Маркузе было крайне отрицательное, несмотря на то, что многие люди, восхваляемые советской пропагандой, как например Анджела Дэвис, были его непосредственными учениками.