沉香庵位于渌埠头乡湘江北岸的尖峰岭上,相传地处悬崖边上有一高大沉香树而得名。庵建于清乾隆四十八年(1783),有正殿3座,两房横屋各4座。砖木结构,上盖琉璃瓦。前殿是关圣帝君殿,内有关云长、关平、周仓等烫金塑像,像前一口直径为1.5米的大铁钟;中进是大雄宝殿,有3尊大古佛像,有一个烧香纸的大铁鼎。两侧有18罗汉和24诸天菩萨;后殿是观音殿,有清同治八年(1869)建造的石塔,叫飞塔。塔形七层六面,高12米,座底直径为4米,檐屋内设禅座和诵经堂,有弥勒菩萨和齐天大圣像。庵前临江悬崖处有一石像观音,清道光十年(1835)錾成,神态慈祥。石壁上刻有“我心非石”四个大字,每字2尺见方,笔力沉穆雄浑,至今清晰。

新中国成立初年,菩萨全毁。“文化大革命"时,庙字拆除,仅存飞鸽塔。庵堂周围石碑刻存有9块,能清晰可辨者4块。80年代,原址正殿处重建一间砖瓦房,供菩萨,备香火,有一尼姑在此修行。