刘备知道关羽果然在曹操那里后，就派密使陈震来到许昌，向关羽递交了亲笔信。信中责问关羽为什么不遵守桃园结义的誓约。关羽看了信，泪流满面说：“我哪里会贪图富贵而去背信弃义呢？过去实在是因为不知道兄长的下落呀！”
陈震说：“你既然不背弃旧盟，那么随我去见刘备吧！”
关羽说：“大丈夫做事应当光明磊落。我来得明白，走得也要明白。等我向曹操告别以后，立即侍奉两位嫂嫂到袁绍那里去见大哥。”
关羽就请示了刘备的两位夫人，随即到相府去向曹操告别。曹操在门口高挂回避牌，避而不见，不让关羽告别。关羽闷闷不乐地回到府中，下令过去跟随他到许昌来的老兵，收拾车马，打点行李，准备随时动身，吩咐手下人将所有曹操赏赐的东西，统统留下，决不带走一件。
第二天，关羽再到相府去告别，相府门口仍旧高挂回避牌，又碰了一次壁。关羽一连去了几次，始终见不到曹操。关羽又去拜访张辽，想托张辽代向曹操禀告此事。谁知张辽也闭门谢客，托人说是生病。关羽想：“这是曹丞相不让我走呀！但我已经作出了走的决定，怎么可以久留在这里呢？”于是，他写了一封信来向曹操告辞，信中提醒曹操曾经答应了他的三个条件，现在自己知道刘备的下落，决不能违背过去的盟约。新恩虽厚，旧义难忘，所以他特地写信告别，希望丞相能够谅解。
他写完了，差了一个人去相府投书，历次所收金银，一一封存在库中，将汉寿亭侯的官印挂在堂上的中梁，然后请刘备的二位夫人上车。他自己跨上赤兔马，手上提着青龙偃月刀，带领当初跟随他到许昌来的那些旧人马，护送车辆，出了北门。守城门的人阻挡，不放他们出城。关羽怒目横刀，大喝一声，守城门的人纷纷退避，四散奔逃，眼睁睁地看着他们出城而去。
曹操在府中与大家一起商议关羽要走的事，手下人送上了关羽与曹操的信，接着北门守将报告关羽带了二十余人，夺门而出，关羽宅中人来报告，关羽封金挂印，美女十人留在内室，带了原来跟随来的人和随身行李，出北门去了。曹操部下诸将都对关羽很佩服，张辽、徐晃更是关羽的好朋友，只有蔡阳对关羽不服气。他在这时挺身而出说：“我愿带领三千铁骑，活捉关羽，献给丞相。”
曹操此时知关羽去意已决，无法留住，就做出一种宽仁厚爱的姿态，又借此教育部属，他说：“不要忘记原来的主人，来去明明白白，这是大丈夫的行为，希望你们都能将他作为榜样。”又转过头对张辽说：“关羽封金挂印，不爱财宝，不贪官做事，我很钦佩。你先去请他留步，我将给他送行，这个人情做到底吧！”
张辽单骑匹马，去追关羽。关羽要护送两位夫人，走得很慢。他见张辽追来，问道：“你是要追我回去吗？”
张辽说：“没有这回事。丞相知道你要走，特地来送行，叫我先来请你留步。”
关羽说：“就是丞相带铁骑来，我也只能与他决一死战！”这时，曹操带着几十名将领骑马赶来，关羽见他们手中都没有兵器，方始放心。
曹操说：“你怎么走得如此仓促？”
关羽在马上躬身回答：“我原来的主人在河北，必须尽快赶去。屡次到相府辞行，得不到拜见，所以封金挂印，留书告辞，希望丞相不要忘记过去所说过的话。”
曹操说：“我要取信于天下，怎么能说话不算数。你是天下义士，我福气不够，留不住你。这里有锦袍一件送你，表示我的一点心意。”
曹操叫一个将领下马，双手捧过袍去。关羽怕其中有诈，不敢下马，用青龙刀尖挑过战袍，披在身上，谢过曹操，立即转身朝北走了。归路漫漫，行程迢迢。关羽护送着两位嫂嫂和随行车辆，来到东岭关。守关的孔秀问：“将军到哪里去？”
关羽回答：“到河北寻找我大哥去。”
孔秀说：“河北袁绍是丞相的对头冤家。你要出关，有没有丞相的文凭？”
关羽说：“走得匆忙，没有向丞相讨得文凭。”
孔秀说：“没有文凭，要等我派人向丞相请示后，方可放行。”
关羽说：“这样一去一来，岂不耽搁了我的行程？”
孔秀说：“这没有办法，必须要这样做。”
关羽说，“你是不让我过关吗？”
孔秀说：“你要过去，就得将其他所有的人都留下来作为人质。”
关羽听了，怒气冲冲，举刀要*孔秀。孔秀退进关去，点齐兵马，*下关来。关羽与孔秀交战，只有一个回合，就将孔秀*死。他对孔秀的部下说：“你们去对曹丞相说，孔秀要害我，所以我*了他。”
关羽带着一行人马继续前进，来到洛阳。洛阳太守韩福带了一干人马在关口把守，问：“来的是什么人？”
关羽说：“我是汉寿亭侯关羽，请你让我过关。”
韩福说：“有没有曹丞相的文凭？”
关羽说：“走得匆忙，来不及讨取。”
韩福说：“如果没有文凭，那就属于逃窜了，不能过关。”
关羽火起来了，说：“东岭关的孔秀已经被我*死了，你也想找死吗？”
韩福说：“谁来替我将关羽抓起来？”牙将孟坦骑马冲出，举起双刀向关羽*来，被关羽一刀*死。韩福放出一支暗箭，射中关羽左臂。关羽用牙齿咬住箭杆拔出箭来，飞马奔向韩福，手起刀落，将韩福连肩带背斩为两截。
关羽用布扎住左臂伤口，带着随行车马，连夜赶到汜水关。守关的将领卞喜将关羽接到关前镇国寺内，他在那里已经埋伏好二百多名刀斧手，想在这里暗害他。镇国寺的和尚中有个叫普净的，是关羽的同乡。他用手上所佩的戒刀，向关羽丢了个眼色，关羽懂得了他的用心，叫手下的人拿着刀紧跟着自己。
卞喜请关羽在法堂赴宴，关羽问卞喜：“你请我吃饭，是好意还是恶意？”
卞喜还来不及回答，关羽已经望见四壁埋伏有刀斧手，就向卞喜喝骂：“我当你是好人，你竟敢害我！”
卞喜大叫：“大家快动手！”刀斧手刚想动手，已经被关羽*死了好几个人。卞喜逃走，被关羽追上，一刀劈为两段。那些刀斧手见主将被*死，都四散逃走了。
荥阳太守王植与韩福是儿女亲家，听说关羽在洛阳*了韩福，就怀恨在心，决意替韩福报仇。但当关羽到了荥阳，王植却在关口笑脸相迎。关羽说起到河北寻兄之事，王植说是路上辛苦，请早点到舍馆休息。关羽送两位嫂嫂到舍馆后，叫大家早点休息，因为一路上实在太累了。
王植暗中吩咐手下的胡班说：“关羽背叛丞相，逃往河北，一路上*死太守和守关将校，死罪难饶！这个人武艺高强，英勇难敌。你今晚带一千兵卒围住舍馆，一人一个火把到了三更，一齐放火，不管是谁，统统烧死。”
胡班依令在舍馆周围堆满了干柴，只等到了约定时间就放起火来。或许是出于某种好奇心，胡班想去看看关羽究竟是什么模样，就轻手轻脚走进舍馆，看见关羽坐在正厅，在灯下看书，相貌堂堂，犹如天神。关羽发觉有人，就问是谁。胡班进去拜见关羽，说自己是荥阳太守的部下，名叫胡班。
关羽说：“你是不是许昌城外胡华的儿子？”
胡班说：“是啊！”
关羽就说他自己曾在胡华家住宿，胡华曾托他带封信给他儿子胡班。于是，他寻出了胡华托他带的书信，交给胡班。胡班看了信，知道关羽是他父亲钦佩的忠义之士，就将王植的阴谋告诉关羽。关羽大吃一惊，赶忙穿戴盔甲，提刀上马，请二位嫂嫂上车，出了舍馆，来到城边。胡班已经开了城门，关羽急忙催车出城，胡班仍然回去放火。关羽一行人马走了没有几里路，王植拍马提枪，带兵追过来。关羽拦腰一刀，将王植砍死，追来的人马都被他赶散。
关羽催车辆快走，继续前进，来到黄河渡口。驻守在这里的是曹操大将夏侯惇的部下秦琪。秦琪不肯放关羽渡河，关羽生气地说：“你知道我在路上将那些拦截我的人*了的事吗？”
秦琪说：“你只能*那些无名下将，你敢*我吗？”
关羽说：“你比得过颜良、文丑吗？”
秦琪大怒，拍马提刀，奔向关羽*来。两人只交战了一个回合，关羽就将秦琪的头砍了下来。于是，关羽命令秦琪的部下备好船只请二位嫂嫂上船渡河。渡过黄河，就是袁绍的地方了。
关羽渡过黄河，遇到孙乾从北面赶来，告诉关羽：刘备因为袁绍手下相互妒忌，明争暗斗，看来成不了大事，所以已经离开袁绍，到汝南去了。于是，关羽不去河北而转向汝南。就在这时，夏侯惇带领三百多名骑兵赶来，指责关羽*了他的部将，要活捉关羽，献给曹操。两人正要动手时，一位使者飞马赶到，大叫：“丞相有令，放关羽过关！”
夏侯惇怒气冲冲说：“丞相知道他沿路*人吗？”
使者说：“不知道。”
夏侯惇说：“既然不知道他*人，我还得抓住他送给丞相。”他与关羽打了起来，不到十个回合，又有一位使者赶到，说他带了丞相公文来到，放关羽过关。
夏侯惇又问：“丞相知道他沿路*人吗？”这个使者也说是不知道。
夏侯惇说：“既然不知道他*人，我还是要抓他。”关羽与夏侯惇正要重新交锋，张辽赶到，说是丞相听说关羽斩关*将，特地派他来通知各处关口，不要拦阻关羽。
张辽既然这样说了，夏侯惇只得带兵回转。张辽与夏侯惇走后，关羽继续往汝南前进。
这一路上，关羽勇闯五关，连斩六将。
