По вул. Гоголя (первісна назва – Іванівська), яка у ХІХ – на поч. ХХ ст. була забудована в основному двоповерховими будинками, розташовувався ряд культових споруд – перша синагога (нині приміщення належить Полтавському базовому медичному фаховому коледжу), Велика хоральна синагога (нині – Полтавська обласна філармонія), синагога Миснагдим (зруйнована). Сама вулиця прокладена на поч. ХІХ ст. при будівництві нового центру міста за загальним проєктом 1803 – 1805 рр. Сучасну назву вулиця отримала у 1907 р. на честь Миколи Васильовича Гоголя.

Поблизу Великої хоральної синагоги, праворуч, на ділянці площею 1100 кв. м, саме й розміщується будинок рабина. Це був приватний дерев’яний будинок, який викупила юдейська громада для релігійних потреб. У 1881 р. його перебудували з цегли. Схил Іванівської вулиці (нині – Гоголя) в бік Дворянської (нині – Пилипа Орлика) дозволив перебудувати будинок з одно на півтораповерховий. Автор проєкту невідомий. Будинок споруджений у стилі пізнього ампіру й еклектики. Пластика фасадів стримана. Площини стін фільончастими пілястрами з капелями, ритмічно прорізані вікнами з циркульними перемичками й обрамлені профілем та увінчані поличками.

Громада використовувала його як молитовний будинок та як квартиру для рабина. Достеменно невідомо, хто саме з рабинів громади проживав у цьому будинку. Згідно «Адрес-календарів та довідкових книжок» Полтавської губернії відомо, що на поч. ХХ ст. по вулиці Іванівській (з 1907 р. – Гоголя) у власних будинках проживали викладач і завідувач єврейського училища Талмуд-Тора, почесний громадянин міста Рафаїл Ісаакович Рубінов та учитель Мендель Нохимович Краснер.

У 1930-х рр. будинок було націоналізовано для громадських потреб. Після Другої світової війни 1939 – 1945 рр. тут розміщувалась поліклініка. Нині будинок використовується як житловий.