《仓颉篇》
到了西汉时期，废除了“挟书律”，允许开办私学，于是出现了书馆、经馆等私学机构，其中书馆主要是小学阶段的私学机构。书馆的教育主要分为两个阶段，第一个阶段的教育主要是识字和简单的算术。当时使用的识字教材有《仓颉篇》《急就篇》《凡将篇》。其中《急就篇》是当时使用最广泛的识字教材，它是汉元帝时期的黄门令史编辑，总共有2000字，其句子一般是三、五、七字，有韵律感，内容包括姓氏、器物、生活常识等。这本教材直到唐朝才被取代。第二个阶段，儿童开始接触思想教育，阅读《孝经》《论语》《尔雅》等书籍。汉代的私学教育反映了当时儒学独尊的状况。
魏晋南北朝时期，由于士族的兴起，私学教育主要在庄园内进行了，私学教育和家庭教育紧密结合。世家大族希望自己的子孙能够保持优良的传统，因此形成了许多家庭教育的文章，如诸葛亮的《诫子书》、孙谦的《戒外孙书》、陶渊明的《命子十章》、魏收的《枕中篇》等，其中以颜之推的《颜氏家训》作为著名。在学习的内容上，打破了儒家独尊的局面，也涉及诸子百家、文史等方面的文章。在蒙学教材方面，士族开始自己撰写教材，如南朝的周兴嗣编撰了《千字文》，既是一本识字课本，也是一本儿童学习的百科全书。
唐朝以来，由于国家的统一，社会稳定，教育得到了迅速的发展。唐朝时期的小学教育基本是依靠于私学，并且已经形成了完善的系统。当时的小学体系有村学、私塾、家塾、家学等。村学就是村中的小学，附近的儿童可以在其中学习；私塾是文人自己开办的小型教育机构，一般设置在老师家中。当时的城市和农村都有私塾存在；家塾就是家族创办的小学，专门培养家族内部或者亲戚的孩子，一般不接纳其他外人；家学就是贫困的家庭中，有文化的人对家中的子弟进行教育，唐代大诗人元稹小时候就只能接受家学。
到了宋元时期，蒙学教育达到了一个顶峰的状态。宋元时期有了较为完善的官学体系，其中县和县以上级别设置有小学。根据《续资治通鉴》记载，1102年北宋下令“天下州县并置学，县置小学”。元朝继承了宋朝的政策，初期“令江南诸路学及各县学内，设小学，选老成之士教之，或自愿招师，或自受家学于父兄者，亦从其便”。1286年，元朝进一步推广小学的设立，下令全国各地农村每50家组成一社，每社设立学校一所。官府创办的小学在规章制度方面有完善的规定，如宋朝的《京兆府小学规》不仅规定了教师每日教授的内容，还将学生分为三等，因材施教。
