Аллен Айверсон женился на Таванне 3 августа 2001 года. У них четверо детей: дочери Тиаура и Мессия, и сыновья Аллен-младший и Айзая Расан.

Летом 2002 года между супругами Айверсонами разгорелась ссора из-за того, что Аллен подозревал жену в супружеской измене. В результате он избил жену и выставил её голой из дома, после чего Таванна позвонила в полицию. В то же время Айверсон вместе со своим дядей Грегори отправился на поиски жены и начал с визита к её предлагаемому любовнику, его кузену Шону Боумену. Ни жены, ни кузена Айверсон в квартире не нашёл, зато там оказался сосед Боумена, Чарльз Джонс, от которого Аллен потребовал назвать место, где скрывается его жена, угрожая при этом пистолетом. Вскоре после этого Айверсона арестовала полиция, ему были предъявлены обвинения по 14 пунктам — от незаконного проникновения в чужое жилище до терроризма. В случае признания его виновным по всем пунктам Аллену грозил тюремный срок до 54 лет. Однако суд в июле 2002 года счёл показания свидетелей противоречивыми и признал Айверсона невиновным по 12 из 14 пунктам обвинения.

В конце 1990-х — начале 2000-х Айверсон серьёзно занимался музыкой и в 2000 году собирался выпустить альбом в стиле рэп под псевдонимом Jewelz. Но выход альбома Non-Fiction, позже переименованного в Misunderstood («Непонимание»), не состоялся, поскольку многие, включая комиссара НБА Дэвида Стерна, сочли тексты песен Айверсона агрессивными, оскорбительными и антисоциальными. В итоге осенью 2001 года Аллен объявил, что больше не будет заниматься хип-хопом.

Айверсон увлекается рисованием, читает журнал Sports Illustrated, его любимые города — Нью-Йорк и Филадельфия, любимая еда — лазанья, любимый актёр — Сэмюэль Л. Джексон.