В ХVI столетии местечко Ляховичи приобретает известность как укрепленный замок, владел им Владимир Заболоцкий. Затем город переходит к представителю магнатного рода Хадкевичей — Яну Еромину. Его сын, Ян Король, гетман Великого княжества Литовского, известный своими победами над шведами (1605 год) и турками (1621 год), перестроил и укрепил Ляховичский замок, преобразив его в неприступную крепость «Ляховичская фортеция». Построенный на левом берегу речки Ведьма, замок занимал положение острова. Его окружала река, перегороженная плотиной. Попасть в крепость можно было только по разводному мосту через наполненный водой ров и ворота башни. В центре укрепления стоял двухэтажный дворец.
На месте дворца власти городка поставили памятник-герб города.