该寺始建于明万历四十四年（1616），正殿北拱门上方嵌有长方形青石“建修礼拜寺记”碑刻，文为：“直隶保定府，城守营都司官法公，系房山县韩继村人，见城内无寺，每遇节日投乡礼拜。法公定施资助，独自修理，先买魏家菜园十二亩，四面至道，除盖寺以外，地基许众教亲借住，官地私房。大明万历雨辰年立”。清代屡有重修，至光绪三十二年（1906年）马小眉、马国仁盖起现有沐浴室，民国年间军官马良、马景宜等捐资，由教长吴天元、伊玛目马玉麟主持盖起南北讲堂等，成现在格局。

     整个寺院坐西朝东，占地面积4.3亩，正门左右各有旁门1座，正门上嵌汉白玉“清真寺”名石匾（下署邑人子贞马良），门内3间对厅，顺旁廊直通大殿，左右各题“忍美”、“学俊”，大殿共21间576平方米，可容6O0余人同时礼拜，殿前3道门，正门横匾题为“普慈今世，特慈后世”，两旁抱住描联：“贵圣贤在西域传经典兴古教认主独一”、“众穆民来东土遵圣行守清真归信无二”（原下署武营中哨安锡章）。正段分前后两进，窑殿为八角古亭，高7米多，使主体建筑显得结构精妙，庄重美观，横匾题u天方在乡，柱联为“主总无形心可悟，事留退步品真高”。大殿前院有南北讲堂各6间，石碑 4通，林浴室13间，左右配房各 2间，另有民房44间，架子房3间，厕所3间，建筑总面积1964平方米。寺内屋脊原多走兽形像，民国年间由白运章出资全部改为花草形，以严格教规。

    本寺为华北名寺之一，坊内教门兴盛，曾出过许多知名尔林，如谢晋卿、杨玉珍、安士伟、杨永昌等。1911—1948年间先后任教长的有谢晋卿（保定人）、吴天元（保定人）、杨觐元（保定人）、李四阿訇（沧州人）、李三阿图（京东北兆人）、李济清（天津人）、王玉麟（高碑店人）、杨玉珍（保定人）、刘学真（天津人）、刘绍棠（武渭人），这些阿訇曾培养出大批宗教人才。另有散班阿匐林谦、郭清泉等教授启蒙小学和成人中学。普遍习武为华北回族一大特点，武师中多有阿訇，校场往往设有清真寺，本寺内部清泉阿訇曾培养出中外驰名的摔跤大师花蝴蝶常东升和跤手闫善益、马文奎、安松泉以及白书田、马文龙、马汉卿、马子荣、马子明等少林武术教师。本寺内曾兴办普通教育，清光绪五年（1879）《清真寺义塾碑记》载：“省垣人渊辐凑，生齿繁滋，无力延师者，均赖寺宇建设义塾。启牖童蒙。”1932年安古琴、阎达周、石彝珍等合创民众小学，共6班3O0余人，至“七·七事变”后被迫解散。1946年成立“穆德州学，校长戴锡三，共4班10O余人，因教育改编，后迁到寺外更名为“回民小学”。

    “文革”中本寺横遭破坏，匾额、经书及大量用品被付之一炬，大殿改为俱乐部，讲堂成街办工厂，沐浴室当木工车间。1979年省民委确定为重点开放清真寺，1984年列为市级重点文物保护单位。1987年由群众捐资及政府资助，进行维修，翌年竣工。新中国成立后历任教长为尹宽（宁夏人）、刘克俭（河北大厂人）、马文兰（定州人）、马瑞林（保定人）。现任教长张英杰为省伊协委员、市伊协会长，尔林较深，9年来培养了不少学识较高的宗教人才，勤于教务，博得穆斯林群众好评。重新开放1O余年来先后有美国、日本、加纳、英国、以色列、利比亚、巴基斯坦、新加坡等国客人及全国各地宗教界知名人士前来参观。寺内现存清道光年间石碑2通、光绪年间石碑2通，阿拉伯文、波斯文经书228本。寺产原有义地56亩，现有寺房44间以寺养寺。本寺附近为回族聚居区，1500余户中回民占80％以上，有3436人。保定市伊斯兰教协会设于寺内。