В 2001 году Ашер начал встречаться с Розондой Томас, участницей группы TLC. Их отношения длились около двух лет, после чего в декабре 2003 года они расстались.

В январе 2007 года сделал предложение Тамеке Фостер, которая работала у Ашера стилистом. Они поженились 3 августа 2007 года; их первенец, Ашер Реймонд Пятый, родился 26 ноября того же года. 10 декабря 2008 года на свет появился их второй сын, Невид Илай Реймонд.

В феврале 2009 года у Тамеки, находившейся тогда в клинике в Сан-Паулу, Бразилия, остановилось сердце. В той клинике Тамеке должны были провести операцию по липосакции. После случившегося Тамеку ввели в состояние искусственной комы, чтобы ускорить процесс восстановления.

В июне 2009 года Ашер подал на развод, мотивируя это тем, что не живёт со своей женой уже около года.

Бракоразводный процесс завершился 4 ноября 2009 года.