由于同属桑科，柘树叶可以养蚕，且蚕丝特别亮。
柘树生长在南方，北方罕见，因此潭柘寺的柘树稀有而珍贵。潭柘寺古
有“柘树千嶂”，遍布于四野山坡。后来民间传说潭柘寺的柘树皮能治妇女不孕症，人们变争相剥取柘树皮，因而使满山的柘树几乎灭绝。到了明代，寺内仅在三圣殿旁存留有半截已经枯死的柘树，高4尺有余，寺僧为了给后人观赏，特意盖了一座亭子，将这棵仅存的柘树保护了起来。清代诗人李恒叹惜道，“犹有镇山枯柘木，山僧不惜弃空廊”。
现在潭柘寺山门前，牌楼的西侧，种有一棵高约5米的小柘树，用汉白玉石栏围护着，这是1978年整修潭柘寺时，从后山移植而来的。这棵树的旁边，还有几棵幼小的柘树，这是通过压条的方法，而繁殖出来的。目前这几棵小柘树，是潭柘寺仅存的几棵了。
