李白家在西域碎叶城（今吉尔吉斯斯坦的托克马克，唐代属于安西大都护府管辖）居住多年，李白四岁后迁回四川江油青莲村。
父亲李客，做生意做很大。也有说李客是回中原后改姓李的，改姓在唐朝挺普遍，人们希望借此来攀附名门，提高社会地位，算是一种生存手段。李白一生都称自己是皇帝的亲戚，因为皇帝也姓李，然李唐也改了皇家历史的，所以不怎么否认李白和他们同宗，毕竟他们的家谱都有自我编造的嫌疑。李客说家谱在回内陆的过程中遗失了，但他说自己是李广将军的后裔，就是“但使龙城飞将在，不教胡马渡阴山”的李广。为了和皇帝沾亲带故，李姓在唐朝极其普遍，遇到同姓，都可以称亲戚。出于习惯和礼貌，一般都会认可本家。
李客带领儿子们继续在四川和长江沿岸做生意。富裕的大家庭让儿子们从事不同的行业，确保家族繁盛和人身和财产安全。有些儿子和父亲一起沿江而下做生意，李白聪明伶俐，记性超群，李客想让儿子在仕途上有一番作为，所以让李白一直在私塾念书。但是商人在中国古代社会属于比农民还地位低贱的，官府随时可以没收他们的财产甚至加以罪名，不管是不是真的罪犯。做生意的人没有安全感，因此，社会并不把财富看成是一种有效的自我保护手段。几千年来，维护家族利益的最好办法也许就是与政治权力勾结——与高官做朋友，或者成为其中一员。父亲对李白将来的前途规划就遵循这一道理，也可能李白能官运亨通的话，成为国家栋梁，青史留名就更加光宗耀祖了。
虽然科举实施已经一百多年了，但是平民跻身仕途的道路仍然狭窄且竞争激烈，作为生意人家的儿子，李白是无法参加考试的。官方认为无商不奸，所以商户子弟不许报考，只有来自贵族、官员或者农民家庭的人才有资格。
还有一种“制举”，通过举荐和面试来推举人才。李白不参加科举考试又想从政，只能走这条路，所以他必须学问扎实，能力全面，从治国方略、哲学典籍到诗文剑术，全都加以研习，直到精通。
李白不太喜欢儒家，他爱好自由的天性与儒家重视人伦礼仪格格不入。他更喜欢道教文本。
父亲鼓励儿子写诗，尽管不是做官的必要条件，但如果能诗善文，对将来的仕途还是大有裨益的。比如陈子昂，比李白早一代，也来自四川，就因为诗才见识深得武则天欣赏而赐官右拾遗。
李白对格律诗不感兴趣，不是不会写，而是不喜欢被形式束缚。他最喜欢的诗歌形式是古风、乐府和楚辞。
李白还在匡山大明寺跟和尚学习过一生都热爱的剑术。但他留在寺庙有些奇怪，不修习佛法，反而后来是坚定的道教徒。因为佛教主张远离政治，而他的志向却是要入仕，在政治上有一番作为。儒家道教都被当过官方信仰，唐皇室信奉道教，除了唐朝，在其它时期，儒家思想因为重视官场等级以及家庭伦理，与治国结合得更紧密，所以形成了官僚文化的基础。这两种信仰都比佛教更加世俗化。佛教从未与政治权利结合，也未成为过国教。
居住到佛教寺院去不符合李白个性，有人认为是他闯祸甚至*了人避祸进去的。李白可能以前确实是个问题少年，他后来在诗中所说经常和别人打架。但是他诗歌中关于*人的描述太过夸张了，有一种诗意的幻想或者吹牛的感觉：“三杯弄宝刀，*人如剪草”、“托身白刃里，*人红尘中”、“十步*一人，千里不留行”。实在是有种狂野的想象，但他写诗确实狂野，比如“雪花大如席”、“白发三千丈”。
李白可能容易头脑发热、剑不离身，然后路见不平，一时气愤伤到人。但是*人在唐朝是很严重的罪行必须偿命。而他后来在中原土地四处游荡，又从来没有担心自己会受到惩罚。
他只是夸口，反映了他在破坏和犯罪方面的冲动。这种冲动往往与艺术创作密不可分。
,
