余文樂是圈中數一數二的緋聞王,入行16年以來,與他扯上關係的女星名字直逼2打,由天后至嫰模都有,包括鄭秀文、舒淇、劉心悠、楊丞琳、鍾欣潼、蔡卓妍、楊冪、周冬雨、何韻詩、杜如風、阮小儀、陳意涵、江若琳、車婉婉、王璐瑤(LuLu)、模特兒Ase Wang(王惠敏)、內地女星劉安琪、2008年環球皇后台灣代表徐千惠等。
那麼多段緋聞當中,獲余文樂承認過的女朋友就只有唐詩詠、盧巧音、黃伊汶及吳雨霏4個人。余文樂初入行時拍攝港台劇《青春@Y2K》而戀上當時仍叫「唐詩盈」的對手唐詩詠,據知這段戀還是余文樂的初戀。
加入樂壇後,余文樂與大他7年的盧巧音發展姊弟戀,惟戀情維持不到1年,有傳是因為余文樂在台灣拍攝偶像劇《愛情白皮書》時移情別戀楊丞琳而告終。
跟盧巧音分手後,余文樂低調地戀上跟黃伊汶。2人拍拖5年,從未公開承認過戀情。2008年,傳黃伊汶難忍男方太花心而決意分手。2013年,余文樂與吳雨霏因合作拍攝MV而擦出愛火花,2人多次高調曬恩愛,惜關係只維持了9個月便分手收場。
余文樂今次疑似公開戀情,未知相中女子是否近日與他傳緋聞的台灣富家女王棠云呢?