吳婉芳與丈夫胡家驊育有兩子Caspar、Lynus及女兒Helene，全部均為高材生。吳婉芳自認「惡媽」，回憶3個仔女年紀仍小時，她會很惡地迫他們做功課和溫書，要他們對人有禮貌。不過，隨住孩子們日漸長大，她就改變教法，只從旁提點不再責罵。吳婉芳說︰「我對孩子的底線是不要做壞事、不要食毒品及不要入娛樂圈，因為娛樂圈是一世的尾巴﹗」
兩個兒子被視為城中筍盤，可擔心自己快做奶奶？吳婉芳說︰「我不想﹗他們太年輕，大仔才23歲，思想未成熟。如真的發生了就是天意，我會接受﹗即使有天他們帶個同性回來，我也能接受﹗起碼他們不是做壞事，又是真心喜歡的。路是他們選擇的，我會尊重﹗」
