乾隆二十四年（1759年）时，在皇城南墙外，即东安福胡同北侧建回回营，供回部族人居住。回回营内还设有办事房，以内府官董其事。因容妃的五叔与堂兄等配合清军平定新疆回部有功，故乾隆二十五年（1760年）降旨授和卓为回回佐领，以投诚回众编为一佐领，并让容妃的五叔和堂兄等与其族人在东安福胡同之北的回回营居住。

不久又兴建了回回营清真寺，这个回回营可与其它北京回回营不同，这里都是在平定大小和卓战争中有功的维吾尔族人，生活方式和信仰与被汉族同化了许多年的本地回族不同，民间又称这里红帽子回回。

这也是距离皇宫大内最近的一个回族聚居区。乾隆这幺做似乎不只是宠爱香妃，同时含有通过与维吾尔贵族之间的通婚以及信任，达到长久稳固边陲、促进民族团结的意味。在这里建立回回营和清真寺就像承德外八庙，北京的黄寺等建筑的作用是一样的。

回回营清真寺的布局比较特殊，坐南朝北，不同于普通清真寺的坐西朝东。

该寺其地址即昔紫禁城西苑门南墙外，寺正门直对宝月搂。就正门上建望月楼，北望中南海，可一览无遗。而此搂又作“唤拜楼”,深夜“邦塔”时登楼高声诵念“班克”，声借海音，远播数里。附近教外人俗呼此搂为“望儿楼”，谓香妃父母思女来京，不能入宫，藉登此楼，北望宝月楼，可与香妃晤面，故又呼宝月楼为“望家搂”。总之，事属民间所传，究否无从考证。而大殿建筑，亦颇费匠心。明九暗七，四面皆走廊，周配角亭四座。殿中央起作为亭式，金顶火檐，高起云涌，有如天坛之祈年殿然，碧色之琉璃瓦与米色盲柱相映壮丽，极尽辉煌之能事。此外浴室及讲堂等建筑布置，无特殊异，故从简记述。寺外周遍植柏柳百余株，每至夏季绿色苍荫，幽静庄严，昔日之景色，可想概见。闻此寺建筑时，建期约四年之久，费用官银至一帑之巨，亦可云伟观也。

其大门，建筑奇古，下为巨石垒成，俨如城门。雉堞环拱，倍极庄严。其上为小屋，朱壁辉煌，如庙宇。再上为有窗之屋。顶端仍为小室，四壁轩敞，无户无牖。统计上下共四层，高逾二丈以上，人过其下，仿佛身到西域也。香妃晏居，每忆家则登楼南望，以慰幽思。故民俗呼为“望家楼”云。办事处之南部，为礼拜寺。系同时建，有碑记事。

北京紫禁城西苑门南墙外。

公交：乘车到回回营清真寺附近下。

火车站：北京火车站。