Гольшанський замок, оспіваний Володимиром Короткевичем як «Чорний замок Ольшанський», коли-то був красивим замком Великого князівства Литовського. Його називали «Кам'яною квіткою маньєризму». Поли його були покриті керамічною плиткою, вікна були зроблені з товстого вітражного скла, стіни були розписані чудовими фресками, і в усьому замку було безліч прекрасних кахельних камінів. Знаменитий Гольшанський замок був також своїми глибокими склепінчастими підземеллями.

Гольшанський замок був зведений в 1610 році для Павла Сапіги. Сапегам Гольшани дісталися в якості приданого за останньою княжною Гольшанської. Замок являв собою прямокутне в плані оборонна споруда, оточена неприступними стінами, що утворюють внутрішній двір. По кутах були побудовані шестигранні башти і одна п'ятигранна в центрі – з в'їзними воротами. Замок був оточений земляними валами і ровами.

Замок був зруйнований під час Північної війни і війни зі шведами. Довершила руйнування останній його власник, велевший підірвати замок заради будівельного матеріалу для корчми.

З Гольшанским замком пов'язана одна з найвідоміших містичних легенд Білорусі – легенда про чорного монаха. Колись жила в замку красива і горда княжна Ганна-Гордислава Гольшанська. Батько утримував дівчину в строгості так, що вона майже не бачила нікого з чоловіків – лише слуг замку. Сталося так, що дівчина закохалася в одного з безрідних юнаків Гремислава Валюжинича, і він відповів їй взаємністю. Хтось доніс про таємні зустрічі закоханих князю Гольшанський. Недовірливий князь, заперший свою дочку від сторонніх у родовому гнізді, розлютився і замурував живцем коханого княжни в стіни замку. З тих пір в Гольшанском замку багато раз бачили привид, названий місцевими жителями Чорним Ченцем – юнак, одягнений в чорні шати, схожі на чернечу рясу ходить в руїнах замку в місячні ночі і шукає свою кохану.