这处怪石，有个故事。相传古时候，黄山紫云岩下的小溪两岸，居住着银妹和金哥两户贫苦人家。金哥与银妹天天结伴上山挖药采茶，两人难舍难分。一天，两人双双来到小溪边，金哥吹竹笛，银妹唱山歌。不料这日玉皇大帝也在此游览，听到银妹的美妙歌声，便想娶她为妃，银妹誓死不从。当银妹和金哥刚要成亲，突然狂风大作，电闪雷鸣，天兵天将降到屋中，抢走了银妹。金哥追到峰顶，不见银妹踪影，便对着天门喊银妹的名字，连叫七七四十九天，突然一阵风雨，金哥变成了一只大金鸡，抬头高叫，声音直冲九霄。那悲苦凄厉的叫声，震塌了天门，只剩一边门坎，成了如今的“天门坎”，金鸡也化成了一块巧石，终日朝着天门。今人曰：“天外飞来翅未收，峰前玉立几千秋。雄姿不怕风和雨，日对天门叫不休。”
这“金鸡叫天都”，同样也是人们口中的“五老上天都”。自龙幡坡上回头望，“金鸡”已不见，却见五块大石如五位老翁，携手持杖，向天都峰顶攀登，被称为“五老上天都”，又称“老人峰”。
关于此景，民间亦有传说：在很早以前，人与仙的区别在于寿数。凡活到九十未满百岁的人皆称“半仙”。半仙只要上天都，跨进灵霄，朝拜玉帝，经御封钦点便可位列仙班，获无量寿福。有一天，从东南西北中来了赵钱孙李周五位半仙。他们过半山寺，越龙蟠坡，如履平川，毫不费力。五老一看天都在望，仙位唾手可得，心里都乐开了花，且又都是联句的高手，不禁相互唱和：赵半仙先开口道：“夏不衣绸缎，冬不着皮裘”；钱半仙续上：“荤腥我无缘，终年食甘蔬”；孙半仙接道：“不慕广华厦，栖居陋室久”；李半仙则说：“饭后百步走，劳役自动手”；周半仙笑道：“心胸坦荡荡，无愁又无优”。这五位半仙老翁，就“衣、食、住、行、思”，吟成一首“长寿诀”，可没想到这是“泄漏天机”，违犯了天规。玉帝立施淫威，切断了五老上天都的去路，又将他们点化成一组石头，这就是“五老上天都”的来历。但这“长寿诀”仍不胫而走，世代流传，后来编写《百家姓》的人，仍尊此五老为华夏百家姓氏之首。五老也爱民助民，即使已成石头，还施了法术变出一只“金鸡”，告之世人“天门可以叫开，寿福可以追求”。
