Родился 29 октября 1880 в г.Ромны Полтавской губернии в семье купца 2-й гильдии. Окончил Ромненское реальное училище (1897), затем Санкт-Петербургский технологический институт (1902).

В 1903 отправился в Мюнхен к Рентгену, лучшему, по отзыву петербургских профессоров, физику-экспериментатору, для приобретения опыта в постановке эксперимента по проверке созданной Иоффе еще в годы учебы в училище резонансной теории запаха и чувства обоняния.

Сначала работал практикантом, живя на собственные средства, потом получил место ассистента.

В 1906, отклонив лестное предложение Рентгена остаться в Мюнхене, вернулся в Россию. Был зачислен старшим лаборантом в Политехнический институт, в 1913, после защиты магистерской диссертации, стал экстраординарным профессором, а в 1915, защитив докторскую диссертацию, – профессором кафедры общей физики. Параллельно читал лекции в Горном институте и на курсах Лесгафта.

В 1916 организовал в институте свой знаменитый семинар по физике. Его участниками были молодые ученые из Политехнического института и университета, вскоре ставшие ближайшими соратниками Иоффе при организации Физико-технического института (1918) и, шире, советской физики в целом.

В 1918 Иоффе организовал физико-технический отдел в Рентгенологическом и радиологическом институте в Петрограде, в 1919 – физико-механический факультет в Политехническом институте для подготовки физиков, которые могли бы решать задачи, важные для промышленности, в 1932 – Агрофизический институт.

По его инициативе начиная с 1929 были созданы Физико-технические институты в крупных промышленных городах (Харькове, Днепропетровске, Свердловске, Томске), Институт химической физики АН СССР.

В годы войны Иоффе участвовал в строительстве радиолокационных установок в Ленинграде, во время эвакуации в Казани был председателем Военно-морской и Военно-инженерной комиссий.

В 1952–1955 возглавлял лабораторию полупроводников АН СССР.

Первая работа Иоффе, составившая предмет его магистерской диссертации, была посвящена элементарному фотоэлектрическому эффекту и относилась к тому же кругу классических исследований, что и работы Дж.Томсона и Р.Милликена по определению заряда электрона.

Он доказал реальность существования электрона независимо от остальной материи, определил абсолютную величину его заряда, исследовал магнитное действие катодных лучей, представляющих собой поток электронов, доказал статистический характер вылета электронов при внешнем фотоэффекте.

Следующим обширным исследованием Иоффе было продолжение его работы (1905), выполненной в лаборатории Рентгена. Оно было посвящено изучению упругих и электрических свойств кварца и легло в основу его докторской диссертации. Обе эти работы отличали феноменальная скрупулезность и аккуратность, а также неизменное стремление свести все наблюдаемые эффекты в единую стройную схему – черты, присущие всем ученикам школы Иоффе.

Еще одна область исследований, где Иоффе были получены важные результаты, – физика кристаллов.

В 1916–1923 он изучал механизм проводимости ионных кристаллов, в 1924 – их прочность и пластичность.

Совместно с П.С.Эренфестом обнаружил «квантовый» характер сдвигов при данной нагрузке, получивший теоретическое объяснение лишь в 1950-е годы, а также открыл явление «упрочнения» материала (эффект Иоффе) – «залечивания» поверхностных трещин.

Свои работы по проблемам физики твердого тела Иоффе обобщил в известной книге Физика кристаллов, написанной по материалам лекций, прочитанных им в 1927 во время длительной командировки в США.

В начале 1930-х годов по инициативе Иоффе начались систематические исследования новых в то время материалов – полупроводников.

Первая работа в этой области была выполнена самим Иоффе совместно с Я.И.Френкелем и касалась анализа контактных явлений на границе металл – полупроводник. Ими объяснялось выпрямляющее свойство такого контакта в рамках теории туннельного эффекта, получившей развитие 40 лет спустя при описании туннельных эффектов в диодах.

Работы по фотоэффекту в полупроводниках привели Иоффе к смелой гипотезе, что полупроводники способны обеспечить эффективное преобразование энергии излучения в электрическую энергию, что послужило предпосылкой к развитию новых областей полупроводниковой техники – созданию фотоэлектрических генераторов (в частности, кремниевых преобразователей солнечной энергии – «солнечных батарей»).

Иоффе и его учениками была создана система классификации полупроводниковых материалов, разработана методика определения их основных свойств. Изучение термоэлектрических свойств полупроводников послужило началом развития новой области техники – термоэлектрического охлаждения. В Институте полупроводников была разработана серия термоэлектрических холодильников, которые широко применяются во всем мире для решения ряда задач в радиоэлектронике, приборостроении, космической биологии и т.д.

Во многих статьях, вышедших из стен ФТИ в 1920–1940-х годах, фамилии Иоффе нет в числе авторов, хотя его вклад в них виден любому специалисту. Исключительная научная щедрость ученого отвечала его моральным принципам и была составляющей «искусства руководить молодыми сотрудниками», о котором написал его ученик, Нобелевский лауреат Н.Н.Семенов: «Если ты хочешь, чтобы ученик занялся разработкой какой-либо новой идеи, сделай это незаметно, максимально стараясь, чтобы он как бы сам пришел к ней, приняв ее за свою собственную... Не увлекайся чрезмерным руководством учениками, давай им возможность максимально проявить инициативу, самим справляться с трудностями». Среди учеников А.Ф.Иоффе – такие всемирно известные физики, как П.Л.Капица, Л.Д.Ландау, И.В.Курчатов, А.П.Александров, Ю.Б.Харитон и многие другие.

Иоффе – автор множества монографий и учебников. Большой популярностью пользовались его Лекции по молекулярной физике (1919), им был написан 1-й том Курса физики – Основные понятия из области механики. Свойства тепловой энергии. Электричество и магнетизм (1927, 1933, 1940), а также (совместно с Н.Н.Семеновым) первая часть 4-го тома Молекулярная физика (1932, 1935). В середине 1930-х годов под руководством Иоффе прошло обсуждение принципов построения курса физики для технических вузов; одним из результатов этих бурных дискуссий стало издание замечательного курса общей физики Г.С.Ландсберга. Иоффе был членом многих академий наук: Гёттингенской (1924), Берлинской (1928), Американской АН наук и искусств (1929), почетным членом АН Германии «Леопольдина» (1958), Итальянской АН (1959), почетным доктором Калифорнийского университета (1928), Сорбонны (1945), университетов Граца (1948), Бухареста и Мюнхена (1955).

Умер Иоффе в Ленинграде 14 октября 1960.