Дятловський палацово-парковий ансамбль був побудований для родовитих князів Великого Князівства Литовського Радзивіллів в 1751 році на місці дерев'яного замку-фортеці XVI століття, в якому під час Північної війни був табір російських військ на чолі з царем Петром I. Фортеця не змогла утримати російська армія, її штурмом взяли шведи, потім розграбували і спалили.

Замок Радзивіллів будувався на згарищі славетної фортеці. Згодом розкішну резиденцію оточили сади і парки, зросли господарські будівлі, в яких містилося князівське добро, жили слуги.

Після Радзивіллів замок належав маршалку Станіславу Солтану, який не залишився осторонь національно-визвольного польського повстання 1830 року. Все майно бунтівників перейшло російської скарбниці. В тому числі, в казну перейшла і резиденція Солтаном у Дятлово.

У роки німецько-фашистської окупації в дятловском замку було організовано єврейське гетто.

Після війни будівля замку було відновлено і передано медикам. Більш 70 років тут знаходилася стоматологічна поліклініка. Мало хто з сучасного покоління дятловцев знає, що це невелика будівля, вибілене звичайною побілкою, коли було шикарним палацом могутніх польських князів.

Зовсім недавно будівля палацу було визнано історико-культурною цінністю. Зараз у палаці йдуть реставраційні роботи, після закінчення яких планується відкрити у палаці історико-краєзнавчий музей, який переїде в резиденцію Радзивіллів і Солтаном з приміщення музею, в якому вже стало неможливо зберігати і демонструвати всі експонати.