Има сведения, че манастирът е основан по време на Втората българска държава. Знае се, че през турското робство манастирската църква е разрушена на два пъти. Вторият път е възстановена през 1860 г. от Гроздан Китов, родом от с. Брезе, учител, който впоследствие приема духовното име Герасим и става игумен на манастира. Той същевременно е и свещеник, и учител в новосъздаденото килийно училище в сградите на манастира. Основаването на килийното училище е имало за цел да подготви свещеници за този край. За първоучител в Своге трябва да се приеме отец Герасим, доживял до дълбока старост, починал през 1904 г. Неговият гроб и паметник са запазени в източната част на двора на църквата.
След Освобождението килийното училище се превръща в светско и чак до учебната 1908/1909 г. учебното дело на свогенци продължава в манастирските пристройки.
През 1870 г. манастирът е посетен от Васил Левски, а след Освобождението – от Иван Вазов, който му посвещава стихотворението „Блян в старата черква“.
Манастирът е бил действащ до няколко години след 9.IX.1944 г. Старата манастирска църква постепенно престава да действа, за сметка на съседната ѝ трикорабна енорийска църква „Св. Св. Петър и Павел“, построена през 1927 г.
Днес от някогашния манастир е останала единствено църквата „Св. Петка“. От старите манастирски сгради, където се е помещавало килийното училище, не е останало почти нищо.
Старата църква е с размери 12 х 5 м. Тя е малка, еднокорабна, едноабсидна, безкуполна, с притвор и укрепена с контрафорси. Вътрешността на църквата е покрита със стенописи, рисувани през 1860 г., когато е станало възстановяването ѝ. Под тях личат по-стари изображения, които не могат да се датират точно без да бъдат свалени горните.
Иконостасът е със запазени всички икони, изработени през Възраждането.
На база архитектурните особености и на част от разкритите стари стенописи, църквата не е строена по-късно от XVI-XVII век.
