Вулиця була прокладена на початку ХІХ ст. при будівництві нового центру міста за загальним проєктом 1803 – 1805 рр. Одна з радіальних магістралей, що мали відходити від Круглої площі. Назву отримала від розміщених на ній двох губернських поштових установ – Малоросійського поштамту та кінного поштового двору.
На купленій у міста ділянці площею 2680 кв. м., у кварталі Поштамської вулиці між Кузнецькою (нині – Пушкіна) та Ново-Полтавською (нині – Шевченка), була збудована Хабадська синагога – одноповерхова, прямокутна у плані будівля, площею 345 кв. м.
Фундамент, стіни і капітальні перегородки виконані з цегли, перекриття і крокви дерев’яні, покрівля вкрита залізом. Стіни оштукатурені. Архітектурний вигляд відповідає класичному стилю пізнього періоду з поділом доричного ордера. На головному фасаді чіткий ритм прямокутних віконних прорізів, обрамлених лиштвами, розділений у простінках і на кутах пілястрами, що підтримують невеликий виніс карнизу з модульйонами. П’єдестали пілястр з квадратними нішами завершені тягами на рівні підвіконних карнизів, виконаних з невеличкими кронштейнами.
Синагога належала Любавицьким хасидам (інша назва – Хабад-Любавич) і використовувалась для релігійних відправ та ритуалів їх «двору». Засновником Любавицької течії був відомий учитель, знавець Галахи, рабин та філософ-кабаліст Шнеур-Залман бар Барух з Ляд (1745 – 1812), похований у м. Гадяч Полтавської області. Був відомий як Алтер Ребе (Старий Ребе). Його духовним наставником і вчителем був відомий лідер хасидів Магід (Проповідник) з Межеріча Дов-Бер – спадкоємець вчення Ізраеля бен Еліезера (Баала Шем-Това – Доброї людини, яка знає тайне ім’я Бога) – засновника хасидизму.
Згідно «Адрес-календарів та Довідкових книжок Полтавської губернії» на 1899 та 1900 роки відомо, що по вулиці Поштамській розміщувалося два молитовні будинки юдейської громади. Рабини проживали при молитовних будинках, а старости та скарбники – в окремих будинках по вулицях Поштамській (нині – В. Чорновола), Ново-Поштамській (нині – В. Чорновола) та Кузнецькій (нині – вул. Пушкіна). У «Адрес-календарі та Довідковій книжці Полтавської губернії на 1900 рік» є згадка, що при одному з молитовних будинків по вул. Поштамській проживав меламед Мордехай Беркович Славін.
У 1930-х рр. синагога була закрита, приміщення націоналізоване, яке міське влада використовувала для господарських потреб. Після Другої світової війни 1939 – 1945 рр. тут розташовувались різні промислові артілі, що створювались Управлінням промкооперації.
У 1960 – 1970-х рр. в цьому будинку розміщувалася вечірня (змінна) середня загальноосвітня школа робочої молоді № 4, яка на початку 1980-х рр. була реорганізована у вечірню школу № 4, що мала консультпункти у загальноосвітніх школах №№ 3 та 4.
У наш час в будинку розміщується філія «Полтава-банку».
