仙女山原名龙安山，唐代陕西高僧海禅师来此结茅而居，随即，善男信女便动手盖了一座寺院，取名“龙安寺”（据柳宗元《龙安海禅师碑》）。至于人们都称该山为“仙女山”,龙安山反而被淡忘了，是缘于一个传说：大约在宋代，山下住着一对婆媳，婆婆为人忠厚，积善好施；媳妇勤劳俭朴，采药耕织。一天，婆婆突然晕倒过去，醒来时眼前一片漆黑，双目失明。为了治好婆婆的眼睛，媳妇天天上山采药。一次她累极了，坐在一棵大树下休息，刚闭上眼，便恍恍惚惚看见一位年轻美貌的姑娘，手捧着一只鲜红的大蜜桃笑盈盈地向她走来说：“你把这桃子带回去给婆婆吃了吧，她的眼睛就会好的。”媳妇惊喜交加，忙睁眼一看，姑娘已无影无踪。说也奇怪，婆婆刚吃完桃子，只觉得浑身发热，眼睛发胀。不一会工夫，双目重现光明，而且比先前更清亮。大家都说这是婆婆心好，媳妇孝顺，感动了救苦救难的仙女。人们为了表达对这位仙女的崇敬，就把这座山改称“仙女山”，“龙安寺”也被人们称为“仙女庙”。
仙女庙分三重殿阁。各有门坊，坐北朝南，依山而筑，青砖墙，琉璃瓦，雕梁画栋，气势恢宏。庙门上书“龙安寺”3字，门联“四朝灵迹；三楚大观”，为清代书法家何绍基所书。山门后为武王庙，门前有石狮一对，庙中供祀关云长塑像。中殿为娘娘殿，殿堂左右，有东西两厅。东厅正面悬挂《仙女山碑记》；四壁有历代官员及游客的题字题诗；西厅有僧人住房和游客休息室，壁上有八仙浮雕，工艺精巧。西厅外有两池，一为放生池，池中有只斗大活龟，背上刻“千年不老”4字。一为天鹅池，四壁石隙浸水，久旱不竭。传说这天鹅池也能自动出产油盐五谷。后殿为祖师殿。山上还有坡地叫骑马岭，北伐将领唐生智，曾来此骑马观山。
庵碑记述：“自唐世界，有九仙女化鹤飞身，瑞映此峰，兴发乾隆，考有始祖瑞明，于顺治癸已年间创修殿宇，上下三栋”。还有山门一座，以及和尚居室与杂屋。山门高约5米、宽6米，门额正中刻有“紫华庵”三字，上层有“双龙戏珠”浮雕，顶端有一个造型精致的“佛”字。两旁门框各雕一门神。山门前稍左有岩泉、水井，四季常清，可供饮用。门前右方有一石，形状如杵臼，相传是仙女捣药用的。进山门沿石板路到第一殿，登37级石阶至第二殿，再上三级石阶便是第三殿。殿内立有佛像，壁上绘有仙女美容。除第一、二殿是砖木结构以外，山门、殿基和第三殿均系石料建筑，三殿相连，耸立峰顶，绿树掩映，如仙台琼阁。乾隆三十五年（公元1764年），山门八亭记载：“尝闻仙女名山，古今可观，人皆仰望，丰乐（当时此地属安化县丰乐乡）第一境也”。
仙女山昔日景观曾遭破坏，1960年以来又逐渐恢复，现已绿树葱茏，杉松成荫，百鸟啁啾，景色如画。每逢春秋两季，游人如织。
