霍建华的祖父叫霍维泗，字琴章， 1895年2月13号出生于山东省霍家村，是霍家的长房长孙，霍维泗自幼聪慧睿智，大学专攻 、法学。在战乱的年代里，霍维泗追随孙中山先生，信奉三民主主义。民国建国后，他一直从事司法工作，是专门审理刑事案件的检察官，后为法官。 1949年10月霍维泗随国民党撤往台湾。1 982年80多岁的霍维泗才不再办案，是台湾法务界的元老和司法权威，深得当局器重。父亲：名字叫霍肇琨。退休前在台湾法务部门工作，与河北静海籍的刘姓同事结为伉俪 。二人婚后生育二子，长子霍建元，次子就是霍建华。霍建华的家世使他受到比较好的熏陶，而且霍家男子崇尚勇武，霍建华虽然小时候身体不好，但是根据父母的安排，学习跆拳道。 虽然家庭出身清白，但对霍建华在演艺圈的发展，其实有利有弊，因为他的祖父，在台湾工作期间，曾为打击本土黑社会，特别是残留在台湾（日本曾经占领）的日本帮而出生入死。得罪恶人较多，霍建华小时候曾经遭遇过严重车祸，到现在仍被怀疑是遭报复所致。
台湾娱乐圈不清不楚的势力较为复杂，所以当霍建华在台湾娱乐圈被媒体集体打压的时候，他毅然在最当红的时候（他一年的接戏记录现在无人能破），放弃一切来到大陆，而且把原从事司法工作的父亲（祖父已经故去）也接到大陆居住，他本人和父亲名下的房产基本都是在大陆，在台湾只有祖父留下的一套房子。 因为大陆演出政策对台湾演员名额有限制，这对霍建华接戏构成一定困难，他曾经咨询 怎么才能取得大陆的定居身份，通过缴税和社会保险等获得工作上的同等待遇，但没有相关政策。所以他的身份依旧是台湾演员，也属于外来务工人员的一类，为了工作在大陆注册有自己的工作室，叫做华杰工作室，员工连带他一共三、四人，属于依法纳税的超微小企业。他非常勇敢地背井离乡，在他乡立足发展 ，但其中也有反把他乡认故乡的悲凉。
霍建华赴内地发展10多年名利双收，如今以《金玉良缘》出品人兼男主角身份返台宣传，也算衣锦还乡。霍建华个性异常低调，抵台时连中视要接机都婉谢，昨影友会现场也一改自闭，大展亲和魅力。但霍建华宣传团队耍大牌，凡事比照“大陆规格”，像要求入住远东饭店、妆发费7万元、媒体事前需提采访纲要、若光线不妥取消拍照等。对此霍建华台湾籍经纪人连俊杰回应：“这算是陆剧，所以比照内地规格，我们其实也学到经验，下次会做调整。”