Талановитим і працьовитим виявився нащадок купця Федора Йоффе і домогосподарки Рашель Ванштейн з містечка Ромни Полтавської губернії. Хлопчик отримав освіту в місцевому реальному училищі, де захопився біофізикою. Після завершення училища він продовжив навчання у Санкт-Петербурзькому технологічному інституті. Це був єдиний вуз, окрім університетів, де вивчали фізику. Потім було стажування у Вільгельма Рентгена у Мюнхені (1902-1906). Стажування поступово перетворилося на низку власних наукових винаходів, які вдосконалили існуючі знання про атомні та електронні явища у твердих тілах.
Отримавши диплом доктора філософії Мюнхенського університету Абрам розпочинає трудову діяльність в лабораторії кафедри фізики Петербурзького політехнічного інституту. Молодий вчений накопичує досвід, захищає дисертацію, отримує звання професора. Пройдуть роки і колишній лаборант організує у виші Фізико-механічний факультет, створить унікальну школу фізичну школу, яка набуде всесвітньої слави у другій половині ХХ ст. У 1920 р. професор був обраний академіком Академії наук СРСР.
За ініціативи А. Ф. Йоффе, наприкінці 20-х років, був заснований один з найбільших національних наукових центрів нашої держави – Український фізико-технічний інститут (сучасний Харківський фізико-технічний інститут). Аргументуючи свою пропозицію стосовно створення УФТІ Абрам Федорович говорив, що науково-технічна робота не повинна зосереджуватися в одному центрі бо тоді вона загине.
У 1933 р. академік став головою Ленінградського Фізико-технічного інституту, який пізніше отримав його ім'я. В цей час він зосереджується на дослідженні фізики напівпровідників (Сталінська премія 1942 р.), розробив теорію термоелектрогенераторів, висунув ідею плазмової термоелектрики. Розуміючи особливі можливості ядерної фізики науковець домігся дозволу на створення лабораторії з вивчення ядерних реакцій, на базі якої, у 1942 р., був запроваджений державний атомний проект.
Авторитет вченого наприкінці 40-х рокі сягнув загрозливих масштабів для влади і ворогуючих опонентів. Саме тоді в країні розпочинається чергова сталінська «чистка» і стартує боротьба з «космополітизмом». Абраму Федоровичу пригадали навчання у Німеччині і звільнили з посади директора інституту та виключили зі складу Вченої ради. Але уряд швидко усвідомив, що припустився помилки, і значення наукового потенціалу А. Ф. Йоффе є надважливим для розвитку оборонної стратегії країни та народного господарства. Вже в 1952 р. його призначають керівником лабораторії напівпровідників АН СРСР, який був реорганізований в Інститут напівпровідників АН СРСР.
За своє довге життя А. Ф. Йоффе зробив багато відкриттів у різних сферах фізичної науки. Його називають «батьком радянської фізики», завдяки його працям світова наука збагатилася новими фундаментальними даними, перспективними напрямками розвитку. Він був членом Американської, Берлінської, Геттінгенської академій наук, почесним членом Академії наук Німеччини «Леопольдіна», почесним доктором Каліфорнійського університету, Сорбони, університетів Граца, Бухареста та Мюнхена, почесним членом Британського, Французького, Китайського фізичних товариств.
«…Наукова діяльність …єдине, що переживе тебе і що на сотні та тисячі років врізається в історію людства» (А. Ф. Йоффе).