虽然家庭出身清白，但对霍建华在演艺圈的发展，其实有利有弊，因为他的祖父，在台湾工作期间，曾为打击本土黑社会，特别是残留在台湾（日本曾经占领）的日本帮而出生入死。得罪恶人较多，霍建华小时候曾经遭遇过严重车祸，到现在仍被怀疑是遭报复所致。台湾娱乐圈不清不楚的势力较为复杂，所以当霍建华在台湾娱乐圈被媒体集体打压的时候，他毅然在最当红的时候（他一年的接戏记录现在无人能破），放弃一切来到大陆，而且把原从事司法工作的父亲（祖父已经故去）也接到大陆居住，他本人和父亲名下的房产基本都是在大陆，在台湾只有祖父留下的一套房子。