相传商朝末年西岐周部落的首领古公亶父有三个儿子：太伯（也称泰伯）、虞仲和季历。古公亶父在位时非常喜欢孙子姬昌（即周文王），所以想让姬昌以后能继承王位。姬昌的父亲是古公亶父的三儿子季历，可周人的传统却是由长子继承家业。太伯、虞仲明白古公亶父的心思就打算让位给季历。太伯、虞仲两兄弟一番商量后就跑到南方夷蛮之地去了，从此就和老家这边断了联系。
相传太伯、虞仲两兄弟逃到江东建立了吴国。到了春秋时期吴国被越王勾践所灭后一部分吴太伯的后人东渡大海来到日本列岛生息繁衍。如今日本的福江岛到平户岛之间的大小岛屿上尚留存有吴人东渡的许多遗迹和传说。这说明日本列岛与大陆的联系其实早在徐福东渡以前就已存在。日本考古学家曾在佐贺县高来郡三会树景化园的弥生文化墓葬中发掘出了最早的纺织品。
这是一寸见方的残布片，径线40至50根、纬线30根，与齐地所产丝绢大体相同。当时的日本还处在新石器时代，还没自己的丝绸纺织品。这证实了战国时期山东半岛的齐国已向日本输出丝绸了。虽然还不能确定日本出现的齐国所产的丝绢是怎么到达日本的，但这至少证实了战国时期中日之间就存在一条连接山东半岛齐国与日本的海上通道。很显然在徐福奉秦始皇的命令东渡以前日本列岛上就已存在人类活动了。
在日本的动画片《哆啦a梦 大雄的日本诞生》中曾对日本的起源有所提及。当然我们不可能用一部动画片来论证历史，但其中有一个细节是符合历史真相的：当时的日本还并不是列岛，而是一个南、北部通过海岸线边缘的低地与大陆板块相连的半岛。大约在1万年前左右地壳运动海平面上升导致现在的日本岛屿从亚洲大陆分离出去。这时日本的第一个文明时期“绳文文化”开始出现。
