20岁时，乐嘉的好运用完了。
1995年，喜欢乐嘉的上司被裁员，乐嘉失去了最信任自己的靠山，新来的台湾老板总给他小鞋穿。乐嘉气不过，离开了雅芳。
没了工作，乐嘉变成了身无分文的穷鬼，这时候他又让女友怀了孕。女友是个富二代，即使生下了孩子，她家人也看不上乐嘉。
有一回乐嘉开着女友的车送她上班，因为开得太慢，女友十分急躁，说了几句后又一言不发，默默流泪。乐嘉心里压力很大，说：“要不，你来开吧。”
女友铁青着脸，蹦出来一句：“你开呀，你不是要开吗？”
听了这话，乐嘉血突然往头上涌，他直接在马路正当中刹车，摔门而去，头也不回。乐嘉半年没和女友说话。他觉得女友这态度都是因为看不起自己，觉得自己没本事，车都不会开。
女友的父母更是没给乐嘉好脸色，乐嘉发誓要证明自己：“证明的办法就是我要有钱，我要赚钱，我要变成一个成功的人，我要很了不起。”
但无奈，女友的父亲是当地富商，乐嘉觉得自己无论多么努力，也赚不到人家的十分之一。他转念一想，“有钱人好像不喜欢另一个有钱人，他们都喜欢有文化的人。”
乐嘉重新制定目标，他下定决心要当个文化人，而文化人的标志就是要出书（后来乐嘉陆续出了八本书）。
< 《色眼识人》乐嘉第一本书 >
离开雅芳这年，乐嘉遇上了一个台湾专业的“培训师”。他给乐嘉讲了两门课，一门叫“生命的潜能”，一门叫“人生如何设定目标”。乐嘉听了十分震撼，开始追随这个台湾培训师学习，他将老师的录音一字不落地全背下来，半年后他也开始给别人讲课，居然可以成功把人讲哭。
这时候他发现，会说话的人不仅仅会赚钱，还可以成功地影响别人。
1999年，乐嘉换了好几份工作，希望发挥自己的说话才能。在上影厂参加配音演员应聘时，上海戏剧学院教授安振吉给他指了条路——当演员。乐嘉权衡再三，跑去上戏进修了半年演戏。
这段经历没让乐嘉成功进军演艺圈，但是给了他很大的启发：“有的人表演功力比我强百倍，有的人心理学知识比我多得多，但能把这两者完美结合起来的，却没有几个。”
此时，全球最大直销公司安利进军中国，乐嘉利用自己的演讲才能和销售经验，成功加入安利，在全国进行了200多场演讲。有次他的听众一场多达1万人，他演讲完，全场起立鼓掌7分半。
这场演讲之后不久，乐嘉又接触到了西方的行为心理学，该学科将人的性格分别四类：活泼、完美、力量、和平。
乐嘉将这套理论化为己用，用红、蓝、黄、绿四种颜色指代四种性格，建立起“性格色彩”的课程体系，这一套演讲大受欢迎。
而这一年，乐嘉日后的搭档孟非却差点下岗。
2001年，电视台领导班子换届，新来的领导景志刚要求所有栏目制作人竞聘上岗，孟非的表现不尽如人意。之前一年他在《走进直播室》栏目当编导，主任成天骂他：“做的片子跟屎一样。”
后来他又去体育栏目，做出来的东西“收视率低到可以忽略不计”。
孟非心里很怕，他说：“我生性懦弱，惧怕一切竞争。”为了保住饭碗，他硬着头皮去找景志刚，表示自己只要能留下来，做什么都可以：“你要觉得制片人我干不了。我还可以干记者，干记者不行，我还可以干摄像。”
景志刚留下了孟非，把他派去了一个全新的节目《南京零距离》，孟非一做就是9年，直到迎来了《非诚勿扰》。
2010年，《非诚勿扰》制片人王刚想找一个电视新面孔来当嘉宾，嘉宾的定位是“心理专家”，但王刚对专业知识不感兴趣，他只想找个会说话的人，经人介绍，他找到了乐嘉。
乐嘉起初对上电视不感兴趣，但是节目组答应他可以在《非诚勿扰》宣传“性格色彩学”，他于是接下了这个邀请。同时，王刚又去《南京零距离》把孟非拉了进来，他打电话给孟非，说：“你觉得合适吗？”
孟非说：“没什么合适不合适，台里说合适就合适。”
