Калузький обласний краєзнавчий музей був відкритий 20 квітня 1897 р. Він розташовувався в будівлі палат купців Коробових 17 століття. Експозиція музею складалася з п'яти вітрин з побутовими предметами, нумізматикою та археологічними знахідками. Музей був відкритий для відвідування лише два дні на тиждень.

Керівниками музею були Четиркина, Мартинович-Лашевский А. В., Трейтер П. А., Ассонов в. І. Ними були придбані листа А. С. Пушкіна, які пізніше були передані в московський музей А. С. Пушкіна. У музеї з 1900 р. зберігається перо Гоголя. Станом на 1904 р. в музеї було вже близько 1000 предметів, у 1915 р. – 1200 предметів.

З 1918 р. музей передали у відання "Калузького товариства старожитностей та охорони художніх творів", а потім – Губернського відділу народної освіти. У 1922р. музей переїхав у новий будинок – колишню садибу Золотарьова. У 1924 р. до складу краєзнавчого музею увійшли музей ім. А. А. Рыжичкина і художній. Всі разом вони склали об'єднаний музей, який у складі трьох відділів: історичного, природничо-історичного та художнього передали у відання Головнауки.

Колекція музею поповнювалася за рахунок передачі музею церковного і монастирського майна, предметів із садиб і маєтків. У 1939 р. в музейних фондах налічувалося близько 10 тисяч предметів. Під час війни музей продовжував функціонувати. Експонати краєзнавчого музею не були евакуйовані, в результаті чого фашисти розграбували близько 10% експонатів.

У 1945 р. в музеї налічувалося 7 712 експонатів, з яких 2 413 експонувалися. За воєнний і повоєнний час музей зібрав багатющу колекцію матеріалів про війну.

Колекційний фонд формувався протягом більше ста років і в даний час включає понад 100 тисяч одиниць основного фонду, який розподілений по колекціях: «Археологія», «Фото і негативи», «Живопис, графіка і скульптура», «Рідкісні книги і документи», «дорогоцінні метали», «Метал», «Скло і фарфор», «Дерево», «Тканини», «Науково-природна», «Зброя та озброєння», «Ентомологія», «Нумізматика», «Філуменія», «Інші».

Міська садиба Золотарьова, купця першої гільдії, в якій розміщується музей, була окрасою Калуги на початку 19 ст. протягом тривалого часу головний будинок садиби називався палацом і був найбагатшим у місті. Він стоїть по червоній лінії вулиці і прикрашений горельєфами за творами давньогрецького епосу. Урочистий вигляд садиби надають в'їзні арки з колонами, ковані ліхтарі, мереживний візерунок воріт. Двір замикається критою галереєю з подвійною колонадою, що стоїть на білокам'яну терасу. Романтичний затишок садибного двору посилюється норовливістю погодних контрастів: сонячним ранком він виблискує красою, а в дощову погоду стає похмурим.

Інтер'єри головного будинку володіють високою художньою цінністю. Їх архітектурна обробка тісно пов'язана з інтер'єрами московських особняків школи М. Ф. Казакова кінця 18 - початку 19 ст. Оздоблювальними роботами в будинку Золотарьова керував С. П. Кампиони.

З парадних сіней господарського поверху на другий поверх піднімається парадні сходи. Із приймальної кімнати починається анфілада кімнат південної сторони будівлі. Вхід в парадні зали прикрашено стрункими колонами з лиловатого штучного мармуру. Інтер'єри парадних кімнат поєднують в собі архітектурне, скульптурне й живописне мистецтво. Мальовничі панно в стилі Гюбера Робера прикрашають танцювальний зал. Ліпні барельєфи в нішах над дверними прорізами і вікнами надають залу особливу урочистість.

Стіни великої вітальні обтягнуті блакитним штофом в золотих рамах. Перспективна розпис кесонами трохи увігнутого стельового плафона створює ілюзію купола. Кожен з парадних залів передбачав певну дію: бали, обіди, прийоми, музикування, читання книг. У 1816 р. цей будинок відвідали великий князь Микола Павлович, Олександр I, в 1817 р. - Михайло Павлович.

Колекційний фонд музею зараз складається з понад 100 тисяч експонатів. Тут представлені портрети калузьких купців і дворян, гравюри 18 ст. Особливу цінність представляють предмети зі східного порцеляни. У музеї можна побачити різноманітні зразки зброї 16 - першої половини 20 ст. В колекції тканин представлені унікальні селянські костюми з традиційною калузької "кольоровий перевитью".

На першому поверсі будівлі музею розташований відділ природи. Відділ історії займає 11 залів другого поверху.