В 1980 году Аджани родила сына по имени Барнабе, отцом которого стал известный кинооператор и режиссер Брюно Нюиттен. В 1986-87 она встречалась с американским актером Уорреном Битти.

Самыми долгими, а также наиболее сложными и болезненными для актрисы стали отношения с англичанином Дэниэлом Дэй-Льюисом. Она прожила с Льюисом около 5 лет. В 1994 году пара рассталась, вскоре после этого Изабель родила сына, получившего имя Габриэль-Кейн Дэй-Льюис. В 2003 году Аджани была помолвлена с известным композитором Жаном-Мишелем Жарром, но свадьба так и не состоялась; по признанию актрисы, причиной разрыва стала измена жениха.

В прессе часто возникала информация о болезнях, якобы поразивших Изабель Аджани. Актриса неизменно опровергала подобную информацию. Несколько раз появлялись и ложные сообщения о ее смерти. «Желтая» шумиха вокруг актрисы связана с ее огромной популярностью, которой могут позавидовать многие другие, более активно снимающиеся кинозвезды.