સત્તા છોડ્યા પછી અપમાનની લાગણી અનુભવતા, તુકોજીરાવ દેશ છોડીને પેરિસ ગયા, જ્યાં તેઓ તેમના કરતા 17 વર્ષ નાની નેન્સીના પ્રેમમાં પડ્યા. નેન્સી અમેરિકામાં રહેતી એક ખ્રિસ્તી હતી, તેથી તુકોજીરાવના આ પ્રેમપ્રકરણનો ધનગર સમાજ દ્વારા વિરોધ કરવામાં આવ્યો હતો. પછી બાબાસાહેબ આંબેડકર અને વિનાયક દામોદર સાવરકરે તેમને ટેકો આપ્યો.
તુકોજીરાવ હોલકરે સ્પષ્ટ શબ્દોમાં ધમકી આપી હતી કે જો તેમના પ્રેમ લગ્નનો વિરોધ કરવામાં આવશે અથવા કોઈપણ પ્રકારનો અવરોધ ઊભો કરવામાં આવશે તો તેઓ ઈસ્લામ સ્વીકારી લેશે. આ પછી હિંદુ મહાસભા આગળ આવી અને નેન્સીનો ધર્મ બદલીને તેનું નામ શર્મિષ્ઠા રાખ્યું અને તેના લગ્ન તુકોજીરાવ સાથે કરાવ્યા.
નેન્સી સાથે તેને 4 દીકરીઓ હતી. તેમની એક પુત્રીના લગ્ન કોલ્હાપુરના કાગલ વંશના રાજકુમાર સાથે થયા હતા, જેમાંથી એક પુત્ર વિજયેન્દ્ર ઘાટગે ફિલ્મ અભિનેતા બન્યો હતો. તેમની પુત્રી સાગરિકાએ ફિલ્મ ‘ચક દે ઈન્ડિયા’માં હોકી પ્લેયરની ભૂમિકા ભજવી હતી અને હવે તે ક્રિકેટર ઝહીર ખાનની પત્ની છે.
આ ઘટના બાદ મુમતાઝ થોડા દિવસ મુંબઈમાં રહી, ત્યારબાદ તે કરાચી ગઈ. તેણીએ કરાચીમાં ગાયિકા તરીકે કામ કર્યું હતું. પછી તે હોલીવુડ તરફ વળ્યો. આ પછી, મુમતાઝ વિશે કંઈ જાણી શકાયું નહોતું અને તેનું નામ ઇતિહાસના પાનામાંથી હંમેશ માટે ગાયબ થઈ ગયું.