姜子牙虽然是元始天尊徒弟，但在玉虚宫中还是很辛苦的。在学艺期间，姜子牙并不是安心修炼，而是挑水、浇松、种桃、烧火、扇炉、炼丹。这就是玉虚宫普通入门弟子*活计，比《魔童闹海》中鹤童的工作还要琐碎，远不如随侍元始身边的白鹤童子。而姜子牙呢，却是一直默默的干了40年，毫无怨言。
就算如此辛苦，姜子牙也是勤勤恳恳的修持，秉持修成仙道的志向。玉虚宫毕竟是仙家重地，姜子牙在这些年也是学了五行遁术、移山倒海之术等基本法术，算是刚刚入门的修道者，超过凡人，却又算不上仙。
在姜子牙72岁时，元始天尊让白鹤童子叫来了桃园中种桃的姜子牙。姜子牙连忙去拜见师父，却没想到元始说他仙道难成，只可受人间之福，要赶他下山。
按照元始的话来说，姜子牙没有神仙根性，根本就修不成仙道。通俗点来说，姜子牙只是玉虚宫的一个不及格的“差生”，要知道人家黄龙真人只是没有法宝，但却是了道真仙，而姜子牙却是根本修不成仙。
这也就好比姜子牙在玉虚宫打了40年工，没能晋升还突然就被裁了。对于72岁的姜子牙来说，这简直如同晴天霹雳，接受不了的他苦苦哀求师父留下自己，说自己是真心出家，只愿意修道，不愿下山贪恋红尘富贵。
元始听完后脸一板，责斥姜子牙说你的造化就是如此，岂能违背，抓紧收拾下山。姜子牙很是无奈，只能收拾一下琴剑衣服哭着下山而去。
这一下山，姜子牙满是茫然，就似失林飞鸟无一枝可栖。因为在这世间，姜子牙并没有一个亲人，又是身无分文，他是无处可去，无路可走。
姜子牙想了又想，终于想到了世间唯一与自己有点关系的一个人——结拜大哥宋异人。
在昆仑山上40年，姜子牙并不曾与宋异人通过音信。不过，宋异人夫妇见到姜子牙却很是热情，立马设宴招待，宋异人还说道：
今贤弟既回来，不若寻些事业，何必出家。就在我家同住，不必又往别处去。我与你相知，非比别人。
在安排好姜子牙后，知道他修道不成的宋异人又热心的为他张罗亲事。虽然姜子牙已经72岁了，但宋异人还是为他寻了个68岁的黄花女马氏。姜子牙也是却之不恭，在宋异人的安排下娶了马氏，算是成了家。
成家之后就要立业，依靠宋异人过日子终究不是事。姜子牙为了生计开始做起了生意，先是卖笊篱，一个没卖出去；宋异人又出资让他卖麦子面，结果翻了个底朝天；宋异人又是给了他一家热闹地方的酒店，结果酒肉臭了也没人来；宋异人再出资让他贩卖牲口，结果被没收了。
这是姜子牙一生最落魄的时光，连生计都成问题。而这倒也不是封神中自由发挥，姜子牙早年确实不顺，当过屠夫，当过饭馆的迎客服务员，比如《尉缭子》中说：太公望年七十，屠牛朝歌，卖食盟津；《说苑·尊贤》也说:太公望，朝歌之屠佐也，棘津迎客之舍人也。
