“小学”一词的由来可以追溯到古代，它最初并不专指学校，而是指研究文字、音韵、训诂方面的学问。在古代中国，儿童入学后首先学习的是文字学，即学习汉字的基本知识，包括字形、字义、字音等。周朝儿童入学的第一步就是学习六甲六书，这是汉字练字用的六组以甲起头的干支，以及汉字的六种造字法。
西汉时期，将研究文字学称为“小学”，而到了唐宋以后，又被称为字学。这个名称一直沿用至清末，后来被语言文字学家章太炎改名为“文字学”。
因此，现代所说的“小学”实际上是指人们接受初步阶段正规教育的学校，是基础教育的重要组成部分，通常包括6至11岁的儿童，教育年限为6年。这个名称反映了其最初的学术含义，即关注儿童的文字基础学习。