富贵怕见花开，大观元年（1107年）三月，赵挺之卒于汴梁城。因为赵挺之得罪过蔡京，蔡京趁机落井下石，将赵挺之全家逐出京城。按宋代礼制，赵明诚也必须回乡守制。时任鸿胪少卿的赵明诚携妻李清照回到青州（今属山东），夫妻二人开始了十年的屏居生活。
次年，赵明诚与李清照用陶渊明《归去辞来》之意，为居所起名为“归来堂”，决心过“甘心老是乡”的隐居生活。“归来堂”的命名，与赵李夫妻随遇而安，“虽处忧患困穷而志不穷”的豁达心态有关。
远离政治，专心一意做收集整理金石碑刻、古书画、古器皿的研究，自得其乐，才是李清照想要的理想生活。从她改号“易安”可知，李清照虽倜傥有男子气，但仍是个女子，她决心将“归来堂”建成心灵的避难所，故名“易安”。
有学者称“易安”出自《归去来辞》“倚南窗以寄傲，审容膝之易安”句，因此有人望文生义，认为李清照嫌居处狭仄，进而批评她数典忘祖。立即有人指出，李清照自号“易安”，是易安于仅容膝之室，本意是自甘淡泊。陶潜《归去来辞》之句亦有出处——《韩诗外传》载：楚王遣使迎北郭先生，妻曰：食前方丈，所甘不过一肉；广厦千间，所安不过容膝。以一肉之甘，容膝之安而徇楚国之忧，毋乃不可。北郭先生听了老妻的话恍然大悟，“乃偕妻逃”。陶潜“审容膝之易安”，正是比喻自己知足于贫寒而无意仕进。
后世有学者称，李清照的“易安”之号始见于《金石录后序》，因此，自号“易安”，“明诚在日必无此称号”，应该是在赵明诚卒后方有。理由是按照宗法制度，女子有三从之义，内讳不出门，所以寻常女子一般不会有名字的。甚至不惜举例说明吕雉之雉，陈阿娇之阿娇。名且不行，何为字号？
个人以为此说大谬——李清照巾帼不让须眉，绝非寻常女子可比。自号“易安”，始于屏居青州也不值得后人惊诧。李清照在丈夫面前从来强势，在丈夫面前自称“易安居士”，也在赵明诚可以接受范围的。从李清照的词作当中就可以看的出来，李清照自诩“此花不与群花比”（《渔家傲-雪里已知春信至》），骨子里根本没有将自己认作赵明诚附庸的。
在青州期间，李清照逐渐走出心理阴影，再次变得开朗起来。夫妻二人朝夕相处，由于赵明诚深爱金石研究与收藏，李清照受其影响，与丈夫一同校勘旧书，携手溯洄于历史文物的长河之中。
在《金石录后序》中，李清照深情地忆及人生中的最快乐时光：“每饭罢，坐归来堂，烹茶，指堆积书史，言某事在某书某卷第几页第几行，以中否角胜负，为饮茶先后。中即举杯大笑，至茶倾覆怀中，反不得饮而起。”
赵明诚除了自惭不如之外，对妻子的敬重爱慕更加深了几分。
夫妻二人乐此不疲，李清照在《金石录后序》中载道：“乐在声色狗马之上”。《古今女史卷一》称：“自古夫妻擅朋友之胜，从来未有如李易安（李清照晚号易安居士）与赵德甫（赵明诚字德甫、或通假字“父”）者。佳人才子，千古绝唱。”
在青州隐居的岁月，是赵明诚与李清照伉俪情深，几胜新婚的十年。
