В 1444 році на околиці міста Боровска, Калузька область, на найвищому місці, де річка Истрема впадає в річку Протву, був заснований чоловічий Пафнутьево-Боровський монастир. Монастир названий на честь свого засновника – ігумена Пафнутия.

В 1467 році замість дерев'яної церкви був побудований білокам'яний собор під назвою Різдвяний. Згодом собор не зберігся. Храм Різдва Богородиці славиться тим, що розписи, якими він був прикрашений – це були одні з перших робіт великого іконописця Діонісія. Всі розписи Діонісія виконувалися під керівництвом старця Симонова монастиря — іконника Митрофана.

В 1586 році, в роки правління царя Федора Івановича, собор був розібраний і на його місці зведено новий п'ятиглавий. Матеріалом для зведення фундаменту нового собору послужили білокам'яні блоки з розписами іконописця Діонісія XV століття. Таким чином, фрагменти робіт іконописця Діонісія і іконника Митрофана збереглися до наших днів і зберігаються в Борівському філії Калузького державного обласного краєзнавчого музею та у Центральному музеї давньоруської культури і мистецтва ім. Андрія Рубльова в Москві.

У XVI столітті монастир обгородили кам'яними стінами, обитель стала служити прикордонною фортецею. У тому ж столітті було зведено храм в ім'я Різдва Христового з кам'яної трапезної. У 1523 році була споруджена дзвіниця, а в 1688 році її замінили дзвіницею.

Стіни і башти Пафнутьево-Борівський обителі відносять до будівель XVI—XVII століть. Існує версія, що Георгіївська, Збройова і Кухонна вежі монастиря були створені під керівництвом знаменитого архітектора, автора споруд Білого міста в Москві, Смоленського кремля і Симонова монастиря - Федора Савелійовича Коня. Однак фахівці нашого часу стверджують, що стіни Пафнутьево-Боровського монастиря і найдавніша кругла башта, що збереглася до наших днів, були побудовані після зведення собору і дзвіниці тим же архітектором. Інші вежі: Тайницкая, Георгіївська були відновлені після руйнування монастиря в часи смутного часу в 1635 році майстром Трохимом Шарутиным, а самі останні вежі: Сторожова та Вхідні відновлювалися в 1636 році або після. Слід зазначити, що план фортеці був розрахований на оборону підлогової «приступной» стіни, що характерно для ХIV-XV століть, т.к. вежі, побудовані на невеликій відстані один від одного, по лінії напільного боку фортеці були розраховані на активний опір і одночасно виконували архітектурну функцію центрального фасаду монастиря.

У 1610 році від поляків монастир захищав князь Михайло Волконський, але він був узятий і спалений.

У період реформ патріарха Никона єпископ Павло Коломенський, ієромонах Полиект Боровський і деякі інші з керівників монастиря виступили проти церковних реформ. Згодом противники реформ були репресовані, а єпископ Павло Коломенський і ієромонах Полиект Боровський були страчені.

Після реформ, проведених патріархом Никоном, Пафнутьево-Боровський монастир став занепадати. При правлінні Катерини II в монастирі залишили 33 ченця і послушника, а практично всі належали Пафнутьево-Боровському монастирю маєтки були відібрані. В 1812 році французи спалили монастир, але після пожежі його вдалося відновити.

У 1923 році майно, що належить Пафнутьево-Боровському монастирю передали в керівництво Главмузею, але незабаром в ньому була розміщена виправна колонія, а після – сільгосптехнікуму. У 1960-х роках, при реставраційних роботах було знайдено 194 білокам'яних блоку, і лише 29-ти збереглися фрагменти сюжетів декоративного живопису, що датуються початком XVI століття.

У 1991 році монастир передали Російської Православної церкви, а в березні того ж року він був відкритий. Мощі преподобного Пафнутия Боровського, засновника монастиря, зберігаються у Різдвяному соборі.