相传在南北朝时，桃花有个叫潘子良的传说人，在今桃江县城西南二十八公里处的故事一个山崖下炼丹修道，成仙后，桃花他炼丹用过的传说水格外明净。
　　有一日，故事桃花仙子驾云漫游到此，桃花被其吸引。传说便情不自禁地下降云头嬉戏于井旁，故事并将发髻上的桃花一朵桃花丢在井水里，谁知桃花落在沾满仙气的传说井水里翻滚，一变十、故事十变百。桃花随溢出的传说井水顺流而下，使整个溪流长年浮满桃花。故事
　　另外，王母娘娘一侍女看上溪边一石匠，便私自下界与其结为夫妻。临产时被王母娘娘发现，生产后迫不得已被迫回到天庭，辨别时，侍女送丈夫一对玉簪，嘱其插到溪流两岸。玉簪便变成为桃树万棵，这条溪流也就成为桃花江。侍女生下一男一女也像其母亲一样面似桃花，美若天仙。两岸女子经溪水沐浴，亦百般娇美。
　　桃花江是美人窝，桃花千万朵，比不上美人多……”三十年代，闻名作曲家黎锦辉先生一曲《桃花江是美人窝》，使桃花江名扬天下。的确，桃花江是一个山美水美人亦美的地方，这里山水如画，景色美丽，气候宜人，是湖南省十大旅游区之一。从此，桃花江有人间仙境之美称。
　　鲜艳如画桃花江 桃花江发源于宁乡县的龙塘，进入桃江县境内的子良岩后，才称桃花江，长27.8公里，有83道弯，穿山走谷，在桃江县城桃花江港处，坎坎流入资江。
　　桃花江上游奇峰怪石，急涧瀑布相连，每当春季桃花盛开之时，中下贱两岸山水相映，一片火红，大有“烂漫芳菲，其色甚媚”的万千气象，令人留连忘返。