Японці вважають, що замок Мацумото охороняє дух якоїсь жінки, і тому кожен місяць, 26-го числа, тут залишали і залишають для неї рис. Згідно з легендою, 26 січня 1618 року одному із караульних в замку з'явився привид в образі жінки в красивому кімоно і велів залишати на цьому самому місці щомісяця 600 кілограмів рису. Допомагає це підношення чи ні, сказати важко, але замок благополучно пережив землетрусу, його минули пожежі, і навіть коли японський уряд вирішив розібрати його, а отримане дерево і залізо продати, замок врятували місцеві жителі, викупивши його. Любов населення і допомагає у боротьбі з часом: в 1902 році, коли головна башта-тенсю стала нахилятися, директор школи Кобаясі Унари ініціював збір грошей і почав кампанію по ремонту замку.

Замок Мацумото був побудований в кінці XVI століття за наказом Тойотомі Хідейосі. За свої чорні стіни і бічні вежі, схожі на розпростерті крила, замок отримав свою другу назву – Карасу-дзе, або Замок ворона. Свою офіційну назву замок набув після того, як було створено нове феодальне володіння Мацумото. Аж до періоду Мейдзі замок належав 23 дайме, які представляли шість феодальних кланів.

Замок являв собою військову фортецю, зі складною внутрішньою структурою і зовнішніми оборонними спорудами – потрійним ровом та високими земляними валами. Головна башта налічує шість поверхів, хоча зовні можна побачити тільки п'ять. Всі сходи в замку розташовані хаотично і не пов'язані між собою, крім того, вони дуже круті і вузькі. Це було зроблено для того, щоб максимально ускладнити ворогам пересування по замку.

На другому поверсі головної вежі розташовані вісім кімнат, що призначалися для самураїв, які захищали замок. Сьогодні тут знаходиться музей зброї Teppo Gura, в якому представлені зброю і обладунки з особистої колекції Акахане Митидзиге, місцевого жителя та експерта з вогнепальної зброї. Колекція формувалася протягом 30 років і була подарована місту, її головними цінностями є мушкети XVI-XVII століть.

Третій поверх вежі називають «темним», тому що він не має вікон. Прихований поверх використовувався для зберігання продуктів і боєприпасів. Четвертий поверх, навпаки, самий світлий і просторий, з високими стелями – імовірно, цей ярус призначався для самого дайме. П'ятий і шостий яруси завдяки великій кількості вікон забезпечували круговий огляд околиць.

Єдина будівля в усьому комплексі, призначене не для військових, а для мирних занять – це вежа Цукими-ягура з павільйоном для милування місяцем. Він побудований за принципом веранди, має огородження червоного кольору. В павільйон запрошували гостей, щоб розважити і показати гарні краєвиди навколо замку.