相传，宋代有个叫单福的石匠，一生给人家造了不少桥，心想也在自己家乡门口的江上建造一座，但叹息没有帮手。
他膝下只有一女叫小姣，长得聪明美丽。她知道父亲的心思．便要求参加帮助干。但那深山采石，百里运石的苦和累，小女子怎么受得了，所以单福就是不答应。小姣跪在地上苦苦哀求，单福没奈何，才含泪点头。他还把三个徒弟找来帮忙，不久就干起来了。
由于开山运石的苦和累实在难受，大徒弟和二徒弟先后悄悄地溜了。单福和女儿、三徒弟为修桥铁了心，继续风里雨里苦干着。但好几年过去了，运到江边的石头只有一小堆。这样累死苦死，桥也建不起来。小姣一咬牙，请人写了“捐身修桥”四个大字，插了个草标，坐到江边石堆旁。一连三天，来看的人无数，但望望滔滔的江水，就都走了。
这天，忽然来了个瘸子。身背一把扇子，摘了草标．问小姣愿不愿意跟他走，小姣回答说：“什么时候把大山里开采的石头全运到江边，就什么时候跟你走。”这瘸子原来是八仙中的铁拐李。
他挤出人群，腾云驾雾，很快来到百里外的大山，从背上拿下扇子，对着单福和三徒弟开出的石头就扇。石头竟都飞了起来，又纷纷都落在江边。单福和三徒弟也被从山上扇到了造桥工地。铁拐李还怕不够，又对身下立着的一块巨石扇了三扇子，他就站在那巨石上飞到了江边。
只见底下尽是人，未敢让巨石落下。又听单福大声说：“石头够了”。他便驾起云头，飘游起来，游到黄山，见黄山风景秀丽，便将石头落下。从此，这飞来石就给黄山增添了绝妙的一景。
另外还有两处飞来石，一在翠微峰侧，一在古颖林庵前小峰上。
