Село Захарово існує з початку XVII століття, але безліч разів змінювала своїх власників. В 1804 році його придбала бабуся Олександра Сергійовича Пушкіна – Марія Олексіївна Ганнібал. Сім'я Пушкіна приїжджала сюди ранньою весною і поверталася до Москви пізньої осені. На березі zaharovskogo ставка росла величезна липа, біля якої на напівкруглої лаві, як говорили, любив сидіти малий Пушкін.

М. А. Ганнібал розлучилася з Захаровим майже відразу після від'їзду онука в Ліцей в тому ж 1811 р. Воно перейшло в сім'ю її рідної сестри Горпини Олексіївни. Її могила у Великих Вяземах опинилася поруч з могилою померлого в Захарове брата поета Миколи.

В кінці XIX ст. громадськість Росії підняла питання про придбання Захарова в державну власність, як це стало з Михайлівським. Але грошей не виявилося, і маєток продовжувало залишатися приватною власністю, а на рубежі XX ст. втратило старого пушкінського будинку. На старому фундаменті був побудований новий будинок, архітектурно повторює будинок пушкінського часу.

Після революції садиба остаточно прийшла в занепад. Спочатку в ній розміщався дитячий будинок, потім піонерський табір та редакції газети. Лише в 1987 році було прийнято рішення про створення на базі садиб Захарово і Великі Вяземи Державного історико-літературного музею-заповідника А. С. Пушкіна.

Щорічно в першу суботу червня в Захарове проводиться Пушкінський фестиваль.