海上丝绸之路雏形在秦汉时期便已存在，已知有关中外海路交流的最早史载来自《汉书·地理志》，当时中国就与南海诸国接触，而有遗迹实物出土表明中外交流可能更早于汉代。
汉代是中国封建社会少见的盛世之一，农业、手工业生产力水平都发展到一个新高度，对外交往也进入一个崭新的历史时期。此时，不仅在西北陆路出现了一条连接欧亚的陆的繁忙的“丝绸之路”，而且在东南海上也出现了一条“海上丝绸之路。”
汉武帝灭南越国后凭借海路拓宽了海贸规模，这时"海上丝绸之路"兴起。《汉书·地理志》记载，其航线为:从徐闻(今广东徐闻县境内)、合浦(今广西合浦县境内)出发，经南海进入马来半岛、暹罗湾、孟加拉湾，到达印度半岛南部的黄支国和已程不国(今斯里兰卡)。这是可见的有关海上丝绸之路最早的文字记载。
中国商人将丝绸等中国物品运到印度南部，一些罗马和阿拉伯商人再将这些商品经红海运至埃及的亚历山大港等地，然后经地中海运至罗马。
东汉时期还记载了与罗马帝国第一次的来往:东汉航船已使用风帆，中国商人由海路到达广州进行贸易，运送丝绸、瓷器经海路由马六甲经苏门答腊来到印度，并且采购香料、染料运回中国，印度商人再把丝绸、瓷器经过红海运往埃及的开罗港或经波斯湾进入两河流域到达安条克，再由希腊、罗马商人从埃及的亚历山大、加沙等港口经地中海海运运往希腊、罗马两大帝国的大小城邦。
这标志着横贯亚、非、欧三大洲的、真正意义的海上丝绸之路的形成,从中国广东番禺、徐闻、广西合浦等港口启航西行，与从地中海、波斯湾、印度洋沿海港口出发往东航行的海上航线，就在印度洋上相遇并实现了对接,广东成为海上丝绸之路的始发地。随着汉代种桑养蚕和纺织业的发展，丝织品成为这一时期的主要输出品。
在汉代，不仅与南海诸国有频繁的贸易往来，而且与日本的政治经济关系也发展到一个新阶段。日本多次遣贡使来中国，期间自然都有一定数量的物品交易。东汉时，日本还接受了汉王朝颁赐的“汉委（倭）奴国王”金印。此金印至今尚存日本。不难想见，两国之间的还是贸易一定有所发展。东汉末，不少汉王室成员为避乱逃到日本，受到良好安置，史称“归化人”。据相关报道，日本的“原田”氏即为汉刘邦后裔。
