早前有娱乐报纸的记者揭发余文乐与沈嘉伟等许多的有钱人吃喝玩乐，还有消息指余文乐陪同沈嘉伟去到日本，相约猿人老板NIGO度假，由于当时Emme不在身边，余文乐于是放胆“猎食”，与NIGO旗下的日本女model经常一起，最后被Emme的友人于街头撞破好事，加速了Emme放弃与余文乐长达五年的“余汶恋”。 Emme和余文乐两人随后和平分手，但毕竟两人曾经深深地爱过对方，所以分手之后任然保持联系，分手后仍维持朋友关系，时不时会有联络。根据了解得知，余文乐在分手后才发现最爱原来早在身边，不停向Emme发出复合攻势，送上999支玫瑰赔罪求复合，还不惜到黄妈妈开设的Sugar夜店，亲自找伯母帮口说情，以示诚意。不过，由于黄妈妈认为Emme已长大了，感情事应由自己拿主意，故不便插口。
余文乐曾和其拍拖5年，在这期间男方经常被指爱到夜店勾女，但黄伊汶始终对男友投以信任。不过2008年四月余文乐沈嘉伟到日本度假期间，因为揽女偷食被黄伊汶好友逮个正着。东窗事发，黄伊汶彻底失望，主动和余文乐断交结束5年情，但余文乐却不愿放手，曾用999枝玫瑰力求挽回感情，后来与Kary吴雨霏拍拖期间便主动向黄伊汶求复合，之后亦曾四度提及此事。
提到余文乐的感情事，他分享入行后的四段感情。第一段因拍摄《青春@Y2K》而与唐诗咏发展初恋，其后与卢巧音分手后受外界不断指责，令他有过退出娱乐圈的念头。余文乐更大方分享与黄伊汶及吴雨霏分手的原因。而谈到其中的一位前女友，除了令他一度感触落泪外，也让他的价值观及生活态度有所改变。众多艺人出席“艺能集团三十周年庆祝晚宴”活动，场面盛大，黄伊汶在facebook上载晚宴内与友共聚的热闹照片，当中包括与旧爱余文乐碰头，两人再见亦是朋友，除大方合照之外，黄伊汶更亲切地手挽余文乐手臂，已为人妻的黄伊汶明年更会做妈妈，相信余文乐也会送上真诚祝福。