Музей розпочав роботу 1940 року. Понад 20 років музеєм завідував середній син письменника — Михайло Панасович Рудченко. На початку Німецько-радянської війни експонати було евакуйовано до Уфи, а після визволення Полтави від нацистських загарбників, у жовтні 1943 року, музей відновив свою роботу. 1951 року на подвір’ї садиби перед будинком встановлено пам’ятник Панасу Мирному — бронзове погруддя письменника на постаменті з лабрадориту (скульптор Олексій Олійник, архітектор Макар Вронський). 1962 року Михайло Панасович Рудченко передав державі будинок, меблі, всі особисті речі Панаса Мирного та членів його родини.

Садиба-музей Панаса Мирного — одна з найбагатших в Україні. Близько тисячі речей, книг, фотографій і документів розміщені в сімох кімнатах будинку письменника. У музеї зберігаються понад 150 рукописів Панаса Мирного та його брата Івана Білика, разом з яким написано великий роман «Хіба ревуть воли, як ясла повні?», понад 280 аркушів епістолярної спадщини письменника та його родини, першодруки творів Панаса Мирного, спогади про нього сучасників, частина архіву журналу «Рідний край». В 1976 році садибу оголошено пам’яткою садово-паркового мистецтва (див. «Парк на садибі Панаса Мирного»). З 1985 року в новому приміщенні розміщено літературну експозицію. Музей має науково-дослідний відділ, відділ фондів та допоміжні підрозділи: наукову бібліотеку і науковий архів.

Музей нагороджено дипломом лауреата І Всеукраїнського музейного фестивалю «Музей третього тисячоліття» та дипломом переможця конкурсу музейних фільмів у номінації «Експозиційний фільм» за фільм «Музей Панаса Мирного».