Замок Хіросіма, навколо якого виріс нинішній місто, був побудований в кінці XVI століття і пережив всі традиційні для старовинних японських будівель природні катаклізми і організовані середньовічною людиною проблеми – набіги, пожежі і землетруси. Зате був зруйнований дощенту в XX столітті – під час атомного бомбардування в серпні 1945 року. Від будівлі залишилися лише кам'яний фундамент і фрагменти стін, нині там встановлено меморіальну дошку в пам'ять про сталася ядерної катастрофи. У 1958 році замок був відновлений із залізобетону. Роботи велися в тому числі і на пожертвувані жителями міста кошти – так було відновлено синтоїстське святилище Гококу дзіндзя, що входить в замковий комплекс.

Зараз в будівлі замку знаходиться музей, в якому представлена історія самого замку, також діють виставки, присвячені японській культурі. Однією з цінностей музею є колекція мечів, датованих XVIII століттям. У верхньому рівні замку розташований оглядовий майданчик, з якої відкриваються види Хіросіми і острови Міядзіма.

Будівництво замку в цій місцевості було розпочато в 1589 році за розпорядженням феодала Морі Тэрумото, який правив у дев'яти японських провінціях. Місце, обране їм для будівництва замку, було центром керованих їм земель. Замок було вирішено зводити на одному з островів у дельті річки Ота. До появи замку в цих землях не було великого населеного пункту, місцевість називалася Гокамурой (в перекладі «п'ять сіл»). З появою замку земля навколо нього почала забудовуватися і заселятися, причому цей процес відбувався спонтанно і хаотично, без всякого планування. Потім призамковый місто стало називатися Хіросімою – за назвою замку. За однією з версій, назва утворилася як похідне від фрагментів імен двох людей – родоначальника клану Морі та помічника дайме. За другою версією, свою назву замок отримав за місцем розташування в дельті Оты. Воно перекладається з японського як «широкий острів». Замок також був відомий під назвою «Замок карпов», так як місцевість біля річки називалася «затокою карпов».

У 1600 році після битви при Сэкигахара Морі Тэрумото втратив майже всі свої володіння і покинув замок. Новим господарем став Фукусіма Масанорі, дайме провінцій Аки і Бінго, які згодом утворили префектури Хіросіма. У 1617 році його перевели в інший район, а замок перейшов у володіння клану Асано на два з половиною століття. За цей час у замку змінилися 12 власників.

В 1894 році під час японо-китайської війни в замку базувався Генеральний штаб Збройних сил Японії. З 1931 року замок має статус національного скарбу.