1975年赵雅芝嫁给了电子工程师黄伟汉，并且生了两个儿子。但是他们的婚姻很不幸福，只好分手。之后赵雅芝为了争取两个孩子的抚养权，不惜与黄伟汉对簿公堂，这也成了当年港台演艺圈最热门的一大新闻。但是令赵雅芝欣慰的是，现在她的三个孩子关系极其融洽.
1981年赵雅芝与黄锦迁合演无线电视剧《女黑侠花木兰》，两人相恋，当时我觉得他是那种有很高学历、看起来很威猛、比较讨女孩子喜欢的那种人，让我觉得没什么安全感。但后来来往多了，我发现黄锦迁内心特别传统、特别专一，非常有家庭观念，可以托付一生。于是1985年，我们两人在美国结婚了。”赵雅芝说着她与黄锦迁的情事。“黄锦迁——前两年获得了‘大律师’的资格证书，他现在也在电视剧中偶尔客串。他只要有时间，就会来看我拍戏，所以我觉得我们几乎就是形影不离的。”随后赵雅芝说：“我现在一年接一到两部戏，完全是凭兴趣。我的主要精力还是照顾家庭和孩子。作为一个女人，我觉得这是最重要的。”