余文樂是圈中數一數二的緋聞王，入行16年以來，與他扯上關係的女星名字直逼2打，由天后至嫰模都有，包括鄭秀文、舒淇、劉心悠、楊丞琳、鍾欣潼、蔡卓妍、楊冪、周冬雨、何韻詩、杜如風、阮小儀、陳意涵、江若琳、車婉婉、王璐瑤（LuLu）、模特兒Ase Wang（王惠敏）、內地女星劉安琪、2008年環球皇后台灣代表徐千惠等。
那麼多段緋聞當中，獲余文樂承認過的女朋友就只有唐詩詠、盧巧音、黃伊汶及吳雨霏4個人。余文樂初入行時拍攝港台劇《青春@Y2K》而戀上當時仍叫「唐詩盈」的對手唐詩詠，據知這段戀還是余文樂的初戀。
加入樂壇後，余文樂與大他7年的盧巧音發展姊弟戀，惟戀情維持不到1年，有傳是因為余文樂在台灣拍攝偶像劇《愛情白皮書》時移情別戀楊丞琳而告終。
跟盧巧音分手後，余文樂低調地戀上跟黃伊汶。2人拍拖5年，從未公開承認過戀情。2008年，傳黃伊汶難忍男方太花心而決意分手。2013年，余文樂與吳雨霏因合作拍攝MV而擦出愛火花，2人多次高調曬恩愛，惜關係只維持了9個月便分手收場。
余文樂今次疑似公開戀情，未知相中女子是否近日與他傳緋聞的台灣富家女王棠云呢？
