Анатолий Ярмоленко родился 15 ноября 1947 в Казатине, Винницкая область, Украина.

Как музыкант начинал свою деятельность в Ансамбле песни и пляски Дома Офицеров Бакинского военного округа ПВО (1967-69гг.). В 1969 году Анатолий Ярмоленко был принят солистом-вокалистом в Гомельскую областную филармонию, работал в эстрадных коллективах «Сувенир» и «Песни над Сожем», а с сентября 1972 г. — солист эстрадного коллектива «Сябры».

Выпускник музыкального училища им. Соколовского (г. Гомель).

Творчество Ярмоленко неразрывно с творчеством ансамбля «Сябры». Началом творческой биографии Сябров принято считать 1974 год, когда ансамбль был представлен на конкурсе артистов эстрады в Минске, где Ярмоленко как солист был удостоен звания Дипломанта Первого республиканского конкурса артистов эстрады.

После ухода из «Сябров» Валентина Бадьярова Анатолий Ярмоленко стал художественным руководителем группы. По воспоминаниям солиста Виталия Червонного, также вскоре ушедшего из «Сябров», А. Ярмоленко стал делать акцент на собственных песнях, и «Сябры» постепенно стали аккомпанирующим ансамблем одного солиста.

В 1985 году художественному руководителю ансамбля «Сябры» Анатолию Ярмоленко было присвоено звание «Заслуженный артист БССР». А. Ярмоленко в составе ансамбля «Сябры» принимал участие в многочисленных фестивалях: «Белые ночи» (Ленинград, 1975 г.), «Киевская весна» (г. Киев, 1974 — 75 г.г., 1981 — 95 г.г.); «Крымские зори», «Славянский базар в Витебске» и многих других; Днях культуры Белоруссии в Москве, Таллинне, Ташкенте, Киеве, Риге, Петербурге, Алма-Ате и др. Анатолий Ярмоленко, как один из солистов ансамбля «Сябры», частый гость популярных музыкально-развлекательных программ и телевизионных конкурсов центрального телевидения «Шире круг», «Песня года», «Утренняя почта», «С песней по жизни», «Славянский базар» и др.

Анатолий Ярмоленко с песнями «Алеся», «Печки лавочки», «Шумите берёзы», «Праздники», неоднократно выходят в финал популярнейшего телевизионного конкурса «Песня года» (с 1981 по 2011г). Ярмоленко исполнитель таких популярных песен как «Глухариная заря», «У криницы», «А я лягу-прилягу», «Печки-лавочки», «Калинушка», «Гуляць дык гуляць», «Каханая», «Пейте пиво, мужики», «Полька белорусская», «Переживём», «Наши песни!»

10 апреля 2006 — за значительный личный вклад в развитие национальной культуры, сохранение и пропаганду лучших музыкальных традиций, Президент Республики Беларусь удостоил Анатолий Ярмоленко государственной награды — Орденом Франциска Скорины.

11 марта 2008 — Президент Российской Федерации Владимир Путин указом за большой вклад в сближение и взаимообогащение культур наций и народностей, развитие культурного сотрудничества в рамках Союзного государства наградил орденом Дружбы, Ярмоленко Анатолия Ивановича — художественного руководителя ансамбля «Сябры».