越人善战
秦始皇南行的足迹，最远止于洞庭，再往南去，便是瘴雾缭绕、让人望而生畏的五岭了。秦始皇生平未曾涉足，大部分北方人也没去过。去过的人几乎都没有回头。他们对岭南的一知半解，多半靠道听途说，诸如“民如禽兽”，“其为人人面有翼，鸟喙”之类。岭南越人被描绘为一群断发文身，禽声鸟语，干栏巢居的野蛮人，谁也不相信岭南是一个有文明存在的地方。
然而，当秦始皇遣兵南征时，才发现岭南越人显然比东南部的越人强悍得多。秦始皇在灭楚之后，很快降服了浙江的越族，又顺利征服了温州的东瓯和福建的闽越，但唯独在岭南，五十万秦军遇上西瓯越人的顽强抵抗。秦军屡屡大败，甚至连统帅屠睢也被西瓯人砍下了头颅。《淮南子·人间训》记载：秦始皇“使尉屠睢发卒五十万为五军……三年不解甲弛弩。使监禄无以转饷，又以卒凿渠而通粮道，以为越人战。*西呕君译吁宋，而越人皆入丛薄中，与禽兽处，莫肯为秦虏。相置桀骏为将，而夜攻秦人，大破之，*尉屠睢，伏尸流血数十万，乃发適戍以备之。
第一波移民潮
由此可见，岭南越人并非一盘散沙的野蛮人，他们有着十分严密的军事组织，相当强悍的战斗力。那些从高纬度北亚气候地区来的秦军，除了被越人打得晕头转向之外，亦深受溽暑、台风、山蚂蟥、痢疾的折磨。北人难以适应南方的暑湿气候，所以一提南方的“瘴疠”，无不胆战心惊。
屠睢死后，秦始皇派任嚣、赵佗率军继续征讨岭南，并不惜动用十万军工，开凿灵渠，使长江的船只，得以由湘江，过灵渠，入漓江、桂江，再转入西江，顺流东下，直达番禺，公元前214年，终于实现了他征服岭南的宏愿。
几十万的秦军再也没回到北方，他们永远留在了岭南，留在了桂林、象、南海三郡，开边殖民，年纪大的便解甲归田。沿着秦军入粤的路线，西江一带便成了这批移民落脚最为密集的地方，然后向珠江三角洲逐步扩散。这是中原人口第一次大规模南迁。
作为新移民的秦军将士，之所以在粤西而不是番禺聚居，并非因为番禺的越族势力过强，而是当时他们负有在西江流域驻扎戍守的任务。为了协助这些新移民安家，赵佗还专门上书秦二世，“求女无夫家者三万人，以为士卒衣补。秦皇帝可其万五千人”。这批妇女到岭南，名义上为驻军缝补衣服，实则与之成家立室，蕃衍子孙。
然须注意者，古书中所说的人数，往往言过其实，所谓“五十万大军”、“十万军工”、“万五妇女”，都不是一个确数，有很大的夸张成分。即使接近事实，一万五千妇女与数十万秦军，亦不成比例，更多中原军士，还是要与当地土著成婚。中山大学人类学系的研究也证明，广府民系的体质特征与广西壮族有较大的相似性。而壮族是越人的直接后裔。
广州建城，始于任嚣。身为秦军将领的南海郡尉任嚣，在病榻弥留之际，遗嘱继任人赵佗：“番禺（即广州）负山险，阻南海，东西数千里，颇有中国人相辅，此亦一州之主也，可以立国。”这是任嚣留下的唯一遗言，其言虽然简单，但意味深长。
任嚣所说的“中国人”是指中原汉人。如果岭南没有一定的文明基础，单凭一群离乡别井的逋亡人、赘壻、贾人，能够开宗庙、立社稷吗？对这一点，赵佗看得比任嚣更清楚，他知道，要开发这块土地，唯一的办法，就是与原岭南越人实行共治，以包容的心态对待当地土著的习俗，不管这种习俗与中原礼教有多么巨大的差异，良则从之，恶则禁之。
许多富有地方色彩的事物，诸如广东人喝凉茶、穿木屐、睡瓷枕、住骑楼等等，推敲起来，无不与水土有关。古越人断发文身，曾令峨冠博带的北方人啧啧称奇，其实那只是渔民为了方便水上作业的一种打扮；干栏茅屋是因为广东地势卑湿，瘴气凝聚，毒虫蛇蝎猛兽又多，不得不筑巢而居，并非如北人所以为他们是野居穴处的“有翼，鸟喙”羽人。
文化上的误解，往往出于过分高明自许，自视如神，缺乏容受涵摄的雅量。而赵佗的伟大之处在于，他建立南越国后，采取“百越和集”和“变服从俗”的政策，并不强行推广中原冠带，反而虚怀以容纳越俗，不仅任命土著越人做丞相，还带头与越人家族联姻。中原汉人与土著越人的通婚，在朝野都是很普遍的事情。
