Родился 2 сентября 1926 года в Москве.

В 1947 году Леонов окончил Московскую театральную студию и стал актёром театра имени Станиславского, с 1968 года он играл на сцене театра имени Маяковского, с 1972 года — актёр в театре имени Ленинского комсомола.

В кино актёр снимался с 1947 года. Добродушный внешний вид, улыбчивость и жизнерадостность наряду с ярким комедийным дарованием, обеспечили Леонову широкое признание с самых первых, ещё небольших ролей в театре (сыграл в том числе Лариосика в спектакле «Дни Турбиных») и кино.

Особой любовью многих поколений зрителей пользовалась его работа по озвучиванию анимационных фильмов, прежде всего роль Винни-Пуха в серии мультипликационных лент 1969-1972 годов. Даже когда актёр играл не таких уж положительных персонажей, которые не были лишены трусости или склонности к мошенничеству и авантюризму («Дело Румянцева», 1956; «Полосатый рейс», 1961; «Гори, гори, моя звезда», 1970; «Совсем пропащий», 1973), его персонажи вызывали симпатию зрителей.

Незаурядный драматический талант актера раскрылся впервые в роли казака Якова Шибалка в картине «Донская повесть» (1964). В 1960-е годы Леонов поразил мастерским и точно выдержанным по стилю исполнением роли царя-тирана Креонта в спектакле «Антигона», поставленном Б.А. Львовым-Анохиным. Привычные комедийные характеры Леонова наполняются трагикомическими красками, как в фильмах «Тридцать три» (1966), «Зигзаг удачи» (1969), «Карусель» (1970, телефильм, выход в кинопрокат 1977), «Женитьба» (1977), «Отпуск в сентябре» (1979, выпуск 1987).

Некоторые неоднозначные роли Леонова создаются с учётом ожиданий публики, но все же вопреки им — как в фильмах «Афоня» (1975), «Осенний марафон» (1979, Государственная премия РСФСР, 1981), «Слёзы капали» (1982) и «Кин-дза-дза» (1986) Георгия Данелии, для которого актёр был своеобразным талисманом в течение почти двадцати лет. В свою очередь Марк Захаров, создавший вместе с Леоновым несколько неожиданных ролей в театре, предлагал ему в своих лентах играть на контрасте внешнего благодушия и внутренней ущербности («Обыкновенное чудо», 1978; «Дом, который построил Свифт», 1983; «Убить Дракона», 1988).

Трагикомизм образов Леонова в картине «Легенда о Тиле» (1977), телефильмах «Старший сын» (1975) и «О бедном гусаре замолвите слово» (1980) приобретает, по сути, подлинно драматическое и даже трагичное измерение. Вообще лишены комизма роли в лентах «Белорусский вокзал» (1971), «Премия» (1975, Государственная премия СССР, 1976), телефильме «И это всё о нем» (1978, премия Ленинского комсомола). В последние годы в театре Леонов создает серьезные психологические работы (но не исключающие острохарактерных и трагикомических обертонов) в спектаклях Марка Захарова «Иванов», «Оптимистическая трагедия», «Поминальная молитва». В последнем из них роль Тевье, которую актёр продолжал играть даже после перенесенной операции на сердце, стала своеобразным завещанием мастера, призывавшего любить жизнь несмотря ни на что.

Народный артист СССР (24.01.1978).

Актёр ушёл из жизни 29 января 1994 года в своей московской квартире, когда собирался на вечерний спектакль. Похоронен на Новодевичьем кладбище в Москве, участок № 10.