Королівський палац є однією з головних визначних пам'яток Будапешта. Перші укріплення на цьому місці були побудовані після татарської навали, приблизно в 1247 р., при Белі IV. Комплекс будівель, вперше згадуваних у 1439 році, носить назву палац Фришш. Тоді ж була добудована вежа Чонка, будівництво якої було призупинено через смерть короля.

При Матяше інтер'єри палацу стають ще пишніше і багатше. У 1541 році його захопили турки, він страждав від пожеж, землетрусів та епідемій. В 1686 році, при штурмі фортеці, загинуло те небагато, що пощадили турки. Палац був заново відбудований і збільшений при Марії-Терезії. У XIX столітті палац почали розширювати за проектом Міклоша Ибла. Над оформленням декору працювали найвідоміші майстри того часу, але їх твори загинули під час Другої світової війни.

В наші дні Палацовий квартал – один з основних культурних центрів Будапешта. Тут розмістилася колекція угорського образотворчого мистецтва – Угорська національна галерея, Музей історії новітнього часу і Державна бібліотека ім. Сечені.