Libuše Švormová měla silný vztah se spisovatelem a scenáristou Janem Otčenáškem. I přesto, že byl ženatý, byli spolu 19 let. Herečka nežádala, aby se rozvedl se svou manželkou, a respektovala jeho důvody. Otčenášek zemřel na rakovinu plic v roce 1979. O tři roky později se Libuše Švormová provdala za Jana Pateru, který byl o 18 let mladší. Tento pár spolu tvoří již 41 let a věkový rozdíl mezi nimi nepředstavuje problém.
Herečka nikdy neměla vlastní děti, a tak nezažila roli matky. Nicméně Švormová sdílí, že i přesto, že nemá děti, nepociťuje za tímto rozhodnutím lítost. O svém postoji řekla: „Nemohu říct, že bych byla šťastná, že nemám děti, ale také nemohu říct, že toho lituji.“ Tuto myšlenku představil web eXtra.cz.
