清末以来我国的稗官野史和民间传说中一直流传着一个关于香妃的传奇故事。这个故事广为流传，以至于连外国的一些词典中都出现了有关香妃的词条。民间关于香妃传说的版本很多，总起来大致有两种。在蔡东藩的《清史演义》、《清朝野史大观》以及金庸的小说《书剑恩仇录》等书中所描绘的香妃与民间传说中香妃的故事差不多。在民间传说中，香妃是个传奇的人物，1745年，香妃出生于新疆喀什的一个维吾尔族家庭，后来被小和卓木纳为妃子，因为身上有一种奇香，所以被人们称为香妃。后来，新疆的大小和卓木叛乱，乾隆皇帝派大将军兆惠前去平叛。
在1759年的一次战役中，大小和卓木被清军打败。在后宫的香妃也被兆惠俘虏，后来，被带回京城。兆惠为了讨好乾隆皇帝，就把身有异香的香妃献入宫中。乾隆见香妃“玉容未近，芳气袭来，既不是花香，又不是粉香，别有一种奇芳异馥，沁人心脾。临近御台，更是柳眉微蹙，杏脸含晕，益发动人怜爱。”但是宫中的太监叫她向乾隆皇帝行礼，她却丝毫不睬，只是泪眼莹莹。”这时身边的近臣向乾隆耳语说也许香妃刚刚从叛乱的部落俘来，心里还有一丝悲痛，而且她自新疆而来，也不熟悉宫中的规矩，皇上可以先将她的饮食起居按回疆的风俗来安排，再派几个回部的仆人伺候，时间久了就好了。
乾隆听了这位近臣的建议，就让人在西宫给香妃修筑宝月楼居住。并对她恩宠有加。但是，香妃却因为思念故乡，整天抱着新疆带去的沙枣花，暗自垂泪。后来，乾隆皇帝带着香妃到江南游玩散心，到了杭州的时候，乾隆企图强行临幸香妃，香妃一急之下，竟取出一柄倒光闪闪匕首来，想刺杀乾隆，乾隆给吓了一跳。从此再也不敢强迫香妃，可是后来这件事情传到了慈宁宫皇太后的耳中，皇太后恐怕乾隆被害，就趁着乾隆外出游玩的机会，将香妃召入宫中，逼她自尽了。香妃临终的时候留下遗言说，我死后请把我的尸体运回新疆，我要长眠在家族的陵墓里。乾隆回宫后，见香妃已死，大哭了一番。后来，因怀念香妃又让宫廷画家、意大利人郎士宁所画依照香妃生前的样子画了一幅“香妃戎装像”挂在宫中。然后又依照香妃的遗言，派图尔都的妻子苏德香人将香妃的遗体护送回新疆，苏黛香一行人在路上陪着灵柩整整走了3年才到达香妃的故乡喀什，后来香妃被安葬在阿帕霍加墓内。这座墓后来就被当地的人们香妃墓。
后来，香妃故乡的人民为了纪念香妃，就为她在喀什噶尔回城北面的香妃墓附近为她修建了一座香娘娘庙。据说香娘娘庙很有灵验，当地的维吾尔族的年青姑娘们都经常到此祭拜，所求之事无有不应。1892年，萧雄在自己的《西域杂述诗》一书中用诗记载了这个史实。在他的“香娘娘庙”诗中说：庙貌巍峨水绕廊，纷纷女伴谒香娘。抒诚泣捧金蟾锁，密祷心中愿未偿。 同时，在这首诗的注里面，他还写道“香娘娘，乾隆间喀什噶尔人，降生不凡，体有香气，性真笃，因恋母，归没于母家。”但并没有提到香妃传说中的种种故事。