汉明帝永平五年（公元六二年），剡县的樵夫刘晨、阮肇相约一同前往天台山采集谷树皮。他们两个常常结伴进山砍柴。有时也会采点药材换丙个小钱改善生活。
一次，他们一起进入天台山采药。但是运气不太好，走了很久也没有找到好的药材。于是他们就往深山里走。他们越走越深，用自己的斧子劈开密密的丛林。到后来却迷路了，连斧子也不知道丢在哪儿了。在山里转来转去找不到回家的路，他们焦急地走东窜西，过了十三天，身边所带的干粮都吃光了，但也无计可施。两人又饿又累，正当他们濒临绝境时，偶然间发现高高的山顶上，有一棵桃树，挂着许多硕一大熟透的鲜桃。他们喜出望外，一时垂涎欲滴；可是，那棵桃树长在高高的悬崖峭壁之上，还隔着一条又长又深的山谷，无路可走。
刘、阮两人为了充饥活命，顾不得山高谷深，沿着悬崖峭壁，攀藤援葛，冒着生命危险，费尽九牛二虎之力终于登上山顶。他们采下鲜桃，吃了好几颗，一时填饱了肚子，恢复了体力。
他们力气恢复之后，来到小溪边，准备喝口水接着寻找道路。他们伏身喝水时，看见几片芜菁叶顺流漂下来，叶子颜色很鲜艳。又有一个杯子流下来，里面还有一十胡十一麻饭。他们惊喜地取过杯子吃里面的饭。于是两人互相安慰说：“想必这里附近有人家，我们可以打听回去的路了。”
刘晨和阮肇满怀希望地越过山岭，在他们面前出现了一条大溪，湖泊岸边有两位姑一十娘十一，她们花容玉貌，艳丽多姿．身上穿着的非绸非缎，只是柔而薄，让微风一吹衣袂飘动，更显出姑一十娘十一们曼一妙玲珑的身材。
她们看见刘、阮两人手里拿着木碗从下游走来，便笑着说：“刘、阮二位郎君拿着我们被水冲走的木碗，来还给我们了！”
刘晨和阮肇两人面面相觑，感到十分惊奇，百思不得其解，他们跟两位姑一十娘十一素不相识，姑一十娘十一们怎么能得知他俩的姓氏呢？而姑一十娘十一们的神态，表现得好像早就认识他们似的。
两个女郎却好像是见到了熟人一般，笑着问：“你们怎么
来晚了呢？”便邀请刘晨、阮肇跟她们回家。于是，刘、阮两人向姑一十娘十一们拱手施礼，刘晨正想开口询问，那穿着绿衣的姑一十娘十一却先亲切的说：“你们为什么来得这么晚？我们等你们好久了！”接着就大方的牵拉着刘晨的手，往湖边的住宅去；另一位红衣姑一十娘十一也同样拉着阮肇，说：“走，到屋内休息一下”。
刘、阮两人虽然满腹狐疑，但却因为姑一十娘十一们热情的邀请，刘、阮两人身不由己似的跟姑一十娘十一们进入室中。
住宅里空间很大，可是却没隔间，不分厅房。整栋住宅是用竹子搭成的，连屋瓦也是用剖开的竹筒铺上的。南壁及东壁各自安放一个大一十床十一，南壁一十床十一上悬挂着绛红色的纱帐，而东壁一十床十一上悬挂着翠绿色的纱帐，想必分别是红、绿衣两位姑一十娘十一的闺一十床十一。罗帐四角系着铃铛，铃铛嵌金襄银，一一十十交十十一一错生辉，两张一十床十一前各都站着十名侍女。
红衣姑一十娘十一跟刘、阮介绍说：“我叫红姑，穿绿裳姑一十娘十一的叫绿一十娘十一！”又向侍女们说：“刘、阮二位郎君，经历千难万阻，跋山涉水，路上虽然吃了几颗果实充饥，但是一路奔波疲乏，体力虚弱，赶快去准备饮食送上来。”
一会儿，侍女们送上食物，桌上摆满芝麻饭、山羊干肉、新鲜牛肉……刘、阮两人开怀饱餐一顿，直觉味道鲜美极了。他俩放开肚子吃了个痛快。
自从刘、阮两人到这里，几乎是夜夜笙箫，曰日美酒。白天里姑一十娘十一们又会准备丰富的餐饮，刘、阮惟一不能释怀的便是姑一十娘十一们的来历，可是每当他们欲出口询问，姑一十娘十一们总是事先就知道了一样，先把话题支开，让他们没机会问。
十天后，刘晨、阮肇因惦记着家人，要求回去。红姑说：“郎君既然经历千难万阻来到此地，这也是你们的福分所致，为什么还想回去呢？”
于是，刘晨与阮肇又住了半年。转眼间，气候变暖，大地回春，草木换上了绿装。刘、阮二人见到处处花红柳绿、百鸟啼鸣，思念故乡的心情更加强烈。他们向姑一十娘十一苦苦恳求归去。
姑一十娘十一们说：“你们一定要回到尘世间，这是罪孽缠绕着你们呀！我们也没有什么办法了！”
女郎见他们情绪低落，知道再挽留也是没有意义的，就送他们下山，为他们指点回去的道路。刘晨与阮肇满口允诺一定会再回来，姑一十娘十一们只是笑而不答，眉间似乎还流露出一点哀伤、惋惜的模样。
刘晨与阮肇顺溪而下，走出峻岭深山，终于回到故乡。只是他们的亲人、家族，早已零落散失，不可辨认。原来的乡里住所早已改观了，无法寻找旧居。不但村子里并没有他们熟识的房屋，而且没有一个他们认识的人，村子里的人对他们的问话也都茫然不知。
刘晨与阮肇寻问了半天，才知道现存人间的是他们第七代子孙。子孙们还记得祖辈传说，他们的祖先有人进山采药，迷了路，就没再回来过，而且他们还说，他们的祖先就是刘晨与阮肇。一番感慨之后，二人就都又走出了村庄。
他们走在似曾相识的道路上，在路边看到了两把斧子。捡起来时，斧头的刃却掉到了地上，原来斧一十柄十一早就朽烂掉了。