2003年发行首张创作专辑《乐行者》。2004年凭专辑《第二天堂》中的《江南》一曲成名。2013年至2015年举办“时线Timeline世界巡回演唱会”和安可场“时线：新地球世界巡回演唱会”，唱遍4大洲、31个城市，刷新个人纪录。2014年以专辑《因你而在》夺得第25届台湾金曲奖最佳国语男歌手奖。
2007年成立个人音乐制作公司JFJ Productions，负责单曲及专辑制作。2008年创立潮流品牌SMG。2012年发行故事影像书《记得》，成功跻身畅销书作家行列。2004年、2015年两度受邀演唱新加坡国庆庆典主题曲，担任2008年北京奥运会及2010年新加坡青奥会火炬手，创作并演唱2010年上海世博会新加坡馆主题曲《感动每一刻》。凭借在音乐创作与慈善公益等方面的表现，2009年荣获新加坡杰出青年奖，2014年获得第5届通商中国青年奖 。2008年，首次主演网络小说改编的偶像剧《原来我不帅》；10月18日，发行具有最多“合作元素”的专辑《JJ陆》，与蔡卓妍合唱的《小酒窝》广为传唱，也让他成功在香港市场占有一席之地 。
2009年，3月28日，第二轮世界巡回演唱会“杰伴2009”于新加坡开启；随后，林俊杰遭受出道以来最严重的生理打击，胃酸倒流侵蚀声带，几近失声，演艺活动被迫中止 ；12月15日，携专辑《100天》回归歌坛，这本纪录了低潮期的心情日记，也体现了他心境的转变。2010年，凭借《100天》入围第21届台湾金曲奖最佳男歌手，在颁奖典礼上的“金曲！金曲！”表演，让百万观众见证林俊杰“诉说女人故事”的实力与魅力，使其在台湾的事业攀上了新的高峰；8月21日，于北京开启第三轮世界巡回演唱会“I AM”；12月8日，发行概念自选辑《她说》，从曾经写给众多女歌手的近百首创作里精选出10首，重新改编，赋予全新生命，与孙燕姿合作的《她说》大受好评。