Замок Лоді почав будуватися в 1548 році братами Луї та Іоанном Лоді. Зведення замку було розпочато з дозволу герцога Трогіра Гарцонича. Але замок так і не був закінчений, т. к. брати загинули під час будівництва. Син Івана Лоді не став продовжувати роботу батька, з усієї родини залишилася лише його сестра Катерина, у якої не було спадкоємців чоловічої статі. Таким чином, замок Лоді залишився недобудованим.

За зовнішнім виглядом замок Лоді нагадує середньовічний кам'яний форт з масивними дерев'яними дверима, що ведуть до материка. Як і багато замки Каштела, будівництво Лоді почалося на невеликому острівці, тому замок з'єднаний з берегом невеликим кам'яним мостом.

В кінці 17 століття будова перейшло у власність дворянській сім'ї Папалич. Незавершений замок став притулком для біженців з Ускоку, розореного турецькими набігами. Протягом тривалого часу за технічним станом замку ніхто не стежив, тому він став руйнуватися і досить швидко спорожнів.

У 2009-2012 році була проведена масштабна реконструкція Лоді. Протягом 2010 року були відреставровані підлоги будівлі, з допомогою металевих конструкцій були укріплені стіни. Крім того, замок був електрифікований, в даний час в приміщенні замку проводяться різні культурні заходи.