山由族传统的渔篓
不过目前相当一部分山由族的主体还是保持了自己相对独特的族群属性，他们说的语言在越南被称为山由话，而这种语言和中国广西的钦廉方言基本一样。目前山由人所使用的文字没有被越南人所同化，仍然使用汉字。他们的姓名也完全保持了华人的传统，其内部有李、陈、张、宁、徐、黎、叶和左等姓氏，各姓也都有字辈。所以虽然在越南他们仍被视为与华族不同的民族，但从客观的民族属性来看，山由族仍然是一个与汉族差异极小，甚至可被视为一个汉族分支的族群了。
艾族的历史与演变而除了山由族之外，越南还有一个人数更少的说中国语言的族群，这个族群名叫艾族。艾族目前在越南只有1600人左右，在越南所有民族中排名第49位。而且近年来艾族人数出现了大幅下降，目前已被越南政府列为16个人数最少的少数民族之一。
山由族和艾族聚居的越南太原省
现代一般观点认为，艾族来到越南的时间比山由族要晚不少，主要是在公元19世纪中叶以后进入越南的。而艾族则主要包括以下几个来源：
首先是在公元1840年代末到1860年代，太平天国战争对两广地区产生了相当程度的冲击。另外，当时在两广地区，还曾多次发生过土客冲突，也就是客家人和广东广西本地一些居民之间因为种种原因导致的冲突，所以两广地区出现了相当规模的客家人迁徙行动。而这些迁徙的客家人中，有一部分通过海路迁徙到了当时今天位于越南境内，但在当时由清朝管辖的越南海宁省河桧地区。而在公元1880年代的中法战争结束之后，越南被法国完全占领，随后在清廷与法国勘定中国与法属越南的边界时，海宁周边地区被划入法属殖民地，这些人也就成了法属印支殖民地的臣民。
越南北方华裔一部分是黑旗军士兵后裔
另外，在公元1865年前后，在中越边境地区活动的民间武装黑旗军首领刘永福也率领大批军民从广西以及广东地区进入越南北部，后来虽然刘永福在中法战争之后率领部分黑旗军成员归国，但他带去的军民里也有一部分因为已经在越南生活了接近20年，所以没有随他返回中国，反而是留在了当地。他们虽然在早期也曾反抗法国殖民者的统治，但后来也接受了法属印支的统治。
除此之外，至少从唐朝开始，两广地区就出现了关于一些以船为家的渔民的记载。这些人因为长年生活在舰艇之上，所以其足部与普通人略有差别。后来很快这些人就被称为了疍（dàn）家人。而在清朝末期，疍家人中也有一部分迁徙到了越南境内居住，他们后来也在一定程度上和越南北部其它的华人发生了融合。这几个群体中后来都有相当一部分人成为了今天越南艾族的先民。
疍家人的生活场景
而刚才我们已经提到，在法国占领了越南之后，对于越南的不同族群采取了分而治之的做法，所以这些生活在越南北部的华人也被法国殖民当局划成了与越南南部华人不同的族群。当时法国殖民当局把这些人称为了华农人。这个名称中的“华”当然是指他们最初源于中国，而“农”则是指他们中的多数出身于农民阶层。
