齐衡一生娶过三个妻子，分别是嘉成县主、晋南申氏大族的嫡女、庆宁大公主的嫡孙女。
可以说，齐衡的三任妻子的身份都十分显赫，但三任妻子却没有一人能陪他终老。齐衡的第一任妻子是嘉成县主，新婚后不久就死在了“申辰之乱”，可以说是非常凄惨了。
齐衡的第二任妻子便是南京申氏大族的嫡女，他们那个家族对齐家有恩，齐家能到如今的高位都是晋南申家提携的。而齐衡和第二任妻子成婚之后，曾有一对龙凤胎，原本应该幸福美满的生活下去的，没想到他们去闽南赴任的时候染上了瘟疫，只有齐衡活了下来，不过对于齐衡来说，或许还不如死掉呢。
之后，齐衡又娶了第三任妻子，也就是庆宁公主的嫡孙女，正是因为娶了他的第三任妻子，齐衡才能继承爵位，不过，他的第三任妻子也是一个短命的女人，为齐衡生下第二个儿子以后便去世了。
三个妻子都早逝，对于齐衡来说应该是有苦难言吧，毕竟他克妻的传闻愈演愈烈，于是他便没有再娶妻，即便他最后做到了在事业上很高的成就，但终究没有一个女人陪她终老。
当初他喜欢盛明兰，却因为种种原因让两人错过，如果当初是盛明兰嫁给了齐衡，或许齐衡的结局就不会那么凄凉，但终究是没有如果。
