У 1773 г. імператрыца Кацярына ІІ падарыла Чачэрск генерал-фельдмаршалу Захару Грыгор'евічу Чарнышову. Мураваны палац быў пабудаваны ў другой палове 19 ст. Візуальны аналіз сучаснага стану будынка сведчыць, што за гісторыю свайго існавання ён неаднаразова рэканструяваўся. У 1905 г. у будынку палаца дзейнічала земская школа, затым у 1920-я гг. -- беларуская школа. У гады Вялікай Айчыннай вайны палац быў пашкоджаны. Пасля аднаўлення там размясцілася вячэрняя школа і бібліятэка. У 2002 г. перададзены Аддзелу культуры райвыканкама.