Життя і діяльність його тісно пов’язані з Полтавою. Він був ініціатором створення, засновником і керівником у 1926-1934, 1938-1951 роках Полтавської гравіметричної обсерваторії.
Розташований заклад у північній частині міста по вул. Мясоєдова, 27/29, на території колишньої садиби художника Мясоєдова Григорія Григоровича ( 19.04.1834 – 17.12.1911) у будинку, спорудженому його сином, художником Мясоєдовим Іваном Григоровичем (30.09.1881 – 27.07.1953). Споруджений у 1913 р. будинок, цегляний, двоповерховий, прямокутний у плані, мав складне внутрішнє планування, потаємні ніші в стінах і глибокі підвальні приміщення, спортивну арену і майстерню – студію для творчості з гарним освітленням. Це давало можливість розташувати чутливе приладдя для вимірювання земних припливів, сили тяжіння Землі, руху полюсів та ін.
З 1926 р. і по нинішній час у будинку І. Г. Мясоєдова знаходиться Полтавська гравіметрична обсерваторія. ЇЇ завданням стала гравіметрична зйомка території України. Спочатку організована Орловим О. Я. обсерваторія називалась магнітно-гравітаційною станцією і в період 1926 –1938 рр. виконувала велику роботу з гравіметричного картографування території України, яка завершилася складанням гравіметричної карти всієї території республіки. З 1939 р. вчений організував спостереження коливань широти Полтави за допомогою зеніт-телескопу Цейсса. За його ініціативою в Полтаві була скликана Перша Всесоюзна широтна конференція (жовтень 1939 р.).
Орлов О. Я. автор ряду капітальних праць з геодезії, теорії астрономії, сейсмографії. Його наукова спадщина налічує 140 монографій, статей і повідомлень, де охоплені результати понад п’ятдесятирічного наукового життя вченого.
В останні роки працював над вивченням руху полюсу і коливань широти, досягнув у цій галузі значних успіхів. Багато років О. Я. Орлов присвятив розробленню програм створення служби широти на теренах колишнього СРСР. Таку службу було створено у Полтавській гравіметричній обсерваторії 1953 року. На честь Олександра Яковича Орлова (1880-1954) у 1970 р. названо кратер на Місяці (діаметр 81, 0 км; шир. 25,7 S; довг. 175,0 W). 1978 року було відкрито малу планету № 2724, що також названа іменем академіка О. Я. Орлова.
У 1984 р. на фасаді будинку Полтавської гравіметричної обсерваторії Інституту геофізики ім. С. І. Субботіна НАН України встановлена меморіальна дошка з барельєфом вченого, автор – скульптор Володимир Білоус, та пам’ятним написом: «В цьому будинку протягом багатьох років (в період з 1926 по 1951 рр.) працював видатний радянський вчений – астроном і геофізик, засновник Полтавської гравіметричної обсерваторії, академік АН УРСР, член – кореспондент АН СРСР Олександр Якович Орлов (1880– 1954)».
