Згідно працям ярославських істориків Афанасієвський монастир був заснований після 1612 р., в той час коли поруч з церквою Афанасія і Кирила в каплиці відбулося набуття чудотворної ікони Спаса Нерукотворного. Але існують документальні свідчення того, що цей монастир існував уже в 16 ст. В 1615 р. Гавриїл Мякушкин, земський староста, звернувся до митрополита ростовського Кирила з проханням благословити заснування обителі на священному місці.

Існують документальні відомості про те, що Афанасієвський монастир управлявся игуменами. У перші роки свого існування він вже отримав володіння та привілеї по грамотам Михайла Федоровича. У першій грамоті, що датується 1619 р., говорилося про те, що Афанасієвський монастир звільняється від руки грошової і хлібної, на свічки, на вино, на ладан. Також монастирю виділялася місце під млин на Романівської і Ярославської стороні. З лісу та дров, які монастир віз по Волзі, Мологе і Шексні для монастирського вжитку мито не стягувалося. Монастир також звільнявся від постою воєвод, бояр, князів і ратних людей.

Перші споруди монастиря були дерев'яні, в 17 ст. обитель неодноразово згоряла під час пожеж. Так, в 1658 р. монастир повністю згорів. Перша кам'яна церква монастиря в честь Афанасія і Кирила була побудована в 1664 р. з благословення митрополита ростовського Іони Сысоевича. По завершенні будівництва церква була прикрашена розписами, виконаними московськими майстрами. При пожежі 1670 р. монастир знову постраждав. У 1676 р. до соборної церкви з півночі був прибудований зимовий храм з дзвіницею, який був освячений в честь митрополита Московського Алексія. У 1736 р. на прохання ігумена монастиря Іони і за указом архієпископа Іоакима до Афанасьевскому монастирю приписали каплицю, прибудовану до Знам'янської або Власьевской вежі, яка була в'їзними воротами в Земляний місто. Сьогодні вона відома під ім'ям Знам'янської церкви.

Афанасієвський монастир значним ніколи не був ні за багатством своїх володінь, ні за кількістю ченців: у 1717 р. тут жило всього лише семеро ченців та один белец; штат не збільшився і за даними 1802 р. Територія обителі була зовсім невеликою, вона обмежувалася невисокою кам'яною стіною лише зі сходу і північного сходу. За іншим сторонам в якості огорожі виступали монастирські надвірні споруди обивательських будинків, а також Спасо-Пробоинская церква.

За східним, парадного фасаду монастиря, який виходив на Пробійну вулицю, у 18 ст. звели дві кам'яні вежі невеликих розмірів, одна з них виконувала роль Святих воріт, в іншій розташовувалася каплиця на честь важливої події − набуття тут чудотворної ікони. Вежі закінчувалися шпилями з фігурами кричать ангелів.

25 червня 1768 р. в центр Ярославля в черговий раз сталася пожежа. У переліку заподіяної шкоди міститься, по суті, перший опис будівель Афанасьевского монастиря. При проведенні відновлювальних робіт була оновлена живопис храму Афанасія і Кирила, початковий кам'яний іконостас замінили на дерев'яний.

У 1820-1830 рр. в обителі були проведені великомасштабні роботи з його благоустрою: були побудовані двоповерхові кам'яні настоятельские покої з трапезною палатою; були влаштовані дві братські келії; для церкви Афанасія і Кирила у 1825 р. міщанин Костянтин Требников виготовив на власні кошти новий іконостас, Олександр Чарышников з Ярославля позолотив його; в 1831 р. теплий храм прикрасили живописом, розписи виконав Тимофій Медведєв. В той же час була перебудована одноярусна дзвіниця над папертю теплій церкві, монастирю зі скасованого Борисоглібського приходу був переданий 115-пудовий дзвін. Ансамбль дзвіниці монастиря становили сім дзвонів.

Черговим перебудов Афанасієвський монастир зазнав на рубежі 19-20 ст.: в 1897 р. були влаштовані кам'яні льохи, каретна, сарай, баня, стайня; в 1903 і 1907 рр. проводилися ремонтні роботи в соборній церкві на кошти, виділені Ф. Е. Вахрамеевым; у 1912 р. був оновлений настінний живопис художником і реставратором М. І. Дикаревым на пожертви А. І Вахромєєва.

У 1764 р. за указом імператриці Катерини II Афанасьевскую обитель зарахували до заштатним. 12 грудня 1857 р. Афанасієвський обитель була зведена в ступінь третьеклассной, настоятелі її мали з цього часу сан архімандритів. З 1895 р. Афанасієвський монастир отримав статус резиденції вікарного єпископа ярославської єпархії.

Після революції при Афанасьевском монастирі була створена парафіяльна громада. В лютому 1925 р. монастир був закритий, частина його майна була передана в храм Спаса на Місту та інші храми. У 1930-х рр. за рішенням міських властей дзвіниця була розібрана, а в церкви Афанасія і Кирила та інших монастирських будівлях розмістилися організації, виробничі майстерні, братський корпус використовувався під житло.

У листопаді 2007 р. храм з огорожею і вежами Святих воріт передали Російської Православної церкви. Коли Ярославська духовна семінарія переїхала в будівлі садиби Вахромєєва за розпорядженням владики Кирила монастирський храм став семінарським. 31 січня 2008 р. в прибудові Алексія було звершено перше богослужіння.