新加坡男性均须服兵役，林俊杰亦不例外。由于专长，他加入的是新加坡武装部队文工团。服兵役期间，他积累了大量的舞台表演经验，同时也尝试了无数创作。尽管早期屡遭“打枪”，但在老师的正确引导鼓励下，极具天赋又非常努力的他，终于谱出了令老师首肯的曲子，这便是2001年收录在张惠妹专辑里的《记得》。此后，林俊杰为庾澄庆、阿杜、王心凌等人创作多首主打歌曲，他的创作才华终于得以展示 。下图是林俊杰为其他歌手写的歌。因为太多了只列举十分之一
他的《江南》、《美人鱼》、《豆浆油条》一度成为街头巷尾的热曲，从此一发不可收拾。
