有时人认为这些都不算是晏殊的罪过，晏殊虽然被罢了，但他的“散官、勋、食邑、食实封如故”。而晏殊自己在颍州照样怡然自得，泛舟湖上，煮茗赋诗，与不久后遭外放的欧阳修、范仲淹、韩维、梅尧臣等人依然往来唱和，游山玩水。
燕鸿过后莺归去，细算浮生千万绪。长于春梦几多时？散似秋云无觅处。
闻琴解佩神仙侣，挽断罗衣留不住。劝君莫作独醒人，烂醉花间应有数。
——晏殊《木兰花·燕鸿过后莺归去》
资善堂中三十载，旧人多是凋零。与君相见最伤情。一尊如旧，聊且话平生。
此别要知须强饮，雪残风细长亭。待君归觐九重城。帝宸思旧，朝夕奉皇明。
——晏殊《临江仙·资善堂中三十载》
酒尽人散，夜深寂寥之际，晏殊也会不可避免满怀伤感，回忆过往种种繁华与欢乐，期望帝王思旧，很快就会念起旧情，而他不久就能回到京师去，“朝夕奉皇明”。外贬之后，仁宗向宰相打听过晏殊在外的情况：“晏殊在外面，没有听说过什么请求，难道他没有什么想要的吗？”晏殊听完宰相的转述，却什么也没有说，只是上表按例询问仁宗的起居安康而已。
晏殊晚年的外放长达十年，转辗多地多职，均有治绩。皇祐二年（1050），晏殊迁户部尚书，拜观文殿大学士，出知永兴军（今西安）。任上，晏殊征辟张先为通判，因为爱重张先的才华，所以常常和张先一起宴饮赋诗。晏殊有个新纳的侍儿，每次张先来，侍儿都在旁边陪酒作歌，所唱的往往是张先所写的词。之后由于晏殊的夫人不喜欢这个侍儿，晏殊便将其转卖。一日，张先来与晏殊对饮，没有看见熟悉的侍儿，便作《碧牡丹词》，其中有诗句：“望极蓝桥阻，暮云千里。几重山，几重水”。晏殊听后，感伤道：“人生行乐耳，何自苦如此？”于是立马命人去库房支钱，重新召回了之前的侍儿。
表面上看晏殊似乎依然从容自得，坚定不移高举着今朝有酒今朝醉的信条，内心却早已悄然变化。
家住西秦，赌博艺随身。花柳上，斗尖新。偶学念奴声调，有时高遏行云。蜀锦缠头无数，不负辛勤。
数年来往咸京道，残杯冷炙谩销魂。衷肠事，托何人？若有知音见采，不辞遍唱阳春。一曲当筵落泪，重掩罗巾。
——晏殊《山亭柳·赠歌者》
皇祐三年（1051），晏殊宴席间听闻了一个歌者的故事，她才艺超群，早年得意，如今却落得个晚景凄凉的结局。这个故事特别像唐代诗人白居易被贬江州时，在浔阳江头听到琵琶女讲述的故事，“同是天涯沦落人，相逢何必曾相识”。晏殊在听歌者讲述时自然联想到了自己的人生，便“借他人酒杯，浇胸中块垒”。他此时已经年逾六十，去国已久，难免抑郁，更难掩落寞之感。
槛菊愁烟兰泣露，罗幕轻寒，燕子双飞去。明月不谙离恨苦，斜光到晓穿朱户。
昨夜西风凋碧树，独上高楼，望尽天涯路。欲寄彩笺兼尺素，山长水阔知何处？
——晏殊《蝶恋花·槛菊愁烟兰泣露》
或许是仁宗终于想起了晏殊一生“由王官宫臣卒登宰相，凡所以辅道圣德，忧勤国家，有旧有劳，自始至卒，五十余年”；且“先帝之名臣与陛下东宫之旧人，皆无在者，宜其褒宠优异”。于是，至和元年（1054），在晏殊因病请求回京医治，待痊愈后再出京供职时，仁宗特意把晏殊留下，让他每五日入殿为自己讲经释义，并且仍然用宰相的规格对待他。
至和二年（1055）正月，晏殊在京病逝，终年65岁。晏殊去世前病重期间，仁宗敕令太医早晚前往观察诊治，还想上门去探病。晏殊知道后，叹气道：“我已经没用了，还要因为疾病使吾君烦忧。”他立即派人上奏：“我感觉好些了，很快就能痊愈。”仁宗才放弃了探病的念头。
后来晏殊去世，仁宗虽然亲自参加了祭奠，却一直为没能前来探病感到遗憾，于是特意下诏辍朝两日，赠官司空兼侍中，赠谥号“元献”，并亲自在晏殊墓碑之首篆写了“旧学之碑”四个字。仁宗还令欧阳修为晏殊撰写《神道碑铭》，下旨将晏殊子孙及外甥中没有任官的九人通通赐了官，并让他的次子晏承裕升任崇文院检讨。
这年六月，富弼拜相，晏殊的长女封安国夫人，晏氏的荣光仍在继续。
无可奈何花落去
晏殊去世时，他的第七个儿子晏几道尚年幼，由二哥晏承裕及其妻张氏扶养。晏几道自幼锦衣玉食，每天纵横诗酒，沉醉在温香软玉、歌舞升平中，过着逍遥自在的风流公子生活。晏几道完美继承了晏殊的优良文学天赋，从小文采出众，也长于写词，曾凭借“舞低杨柳楼心月，歌尽桃花扇底风”两句为时人激赏。
晏几道与江西老乡黄庭坚关系很好，黄庭坚曾形容他们的友谊如同嵇康阮籍，“人生如草木，臭味要相似”，引为知己。黄庭坚很欣赏晏几道的性格，说他“其痴处亦自绝人”，有时候简直就是晏殊的反面例子。
晏几道仕途坎坷，却不愿以故人之子去乞求贵人垂怜；他写得一手好词，却不愿以此阿谀奉承当时的权相蔡京；他为了帮助别人费资千百万，而自己忍饥挨饿；别人辜负他时却不怨恨，自始至终都对别人保有信任。晏殊一生“富贵优游五十年，始终明哲保身全”，晏几道却半分也没有学会，只能成为“古之伤心人”。
晏几道一直活到了宋徽宗时期，见证了天下大势由太平富足到繁华落尽亡国之音响起。他自晚岁家道中落后，落拓半生，凄然而逝，词中遍布伤心底色，哀感顽艳。故而黄庭坚说他的词：“清壮顿挫，能动摇人心。”
晏殊和晏几道在词史上被并称为“二晏”，父子齐名，两人都写过春天的落花与归燕：
一曲新词酒一杯，去年天气旧亭台。夕阳西下几时回？
无可奈何花落去，似曾相识燕归来。小园香径独徘徊。
——晏殊《浣溪沙·一曲新词酒一杯》
梦后楼台高锁，酒醒帘幕低垂。去年春恨却来时，落花人独立，微雨燕双飞。
记得小蘋初见，两重心字罗衣。琵琶弦上说相思，当时明月在，曾照彩云归。
——晏几道《临江仙·梦后楼台高锁》
同是抒发物是人非事事休之感，却一洒落，一悲壮，这中间横亘着北宋的百年时光，一代表盛世华音，一象征哀世悲鸣。美好的事物大多不坚劳，纵使花满京华，也终将“无可奈何花落去”。宋词在晏殊手上还是小清新，靖康之难后，便是沾血的，荒凉遍生。
