1982年80多岁的霍维泗才不再办案，是台湾法务界的元老和司法权威，深得当局器重。霍维泗在沈阳工作期间，娶陈氏为妻，后生子霍肇琨。1949年3岁的霍肇琨随父母和外祖母从海南岛到台湾。几经打拼，霍肇琨在法务部门工作，与河北静海籍的刘姓同事结为伉俪。二人婚后生育二子，长子霍建元，次子就是当今台湾和大陆喜爱的影视明星霍建华。
1987年4月1号，国民党开放与大陆的通讯，霍维泗离别大陆38年后，第一次收到家乡亲人的来信，激动的热泪盈眶。霍肇琨回信说：“我收到你的来信，我太兴奋了，马上禀告父亲，他老人家心情也很激动……恨不得马上到山东老家看你们。虽然我们没有见过面……可是血脉相连的关系是怎样都抹杀不了的。我们全家都有公务员的身份，不能随便到大陆探视。可是我一定会想办法和你们见面……。”