Dvořákův soukromý život nebyl bez komplikací. Po prvním manželství, které trvalo pouhé dva roky, následovalo další s Zuzanou, avšak jejich vztah byl poznamenán Josefovou láskou k osmnáctileté Aleně.
Tato nešťastná láska nakonec vedla k rozvodu, ale osud zasáhl do života páru velmi tvrdě. V den Aleniných osmnáctých narozenin byla smrtelně sražena autem, což zanechalo Dvořáka v hluboké depresi. Dokonce se pokusil o sebevraždu během dovolené na Kubě, ale naštěstí byl včas zachráněn kolegy.
Později se Dvořák opět oženil se Zuzanou, ale i toto manželství skončilo rozvodem. V osmdesátých letech se seznámil s produkční Jarmilou, se kterou žije dodnes a má s ní tři dcery. Jejich vztah je pevný a podporující, přináší mu radost a stabilitu v osobním životě.