赫德（Sir Robert Hart）在中國有壹個小妾“阿瑤”，給他生了3個孩子：安娜（Anna）,赫伯特（ Herbert ），亞瑟（Arthur），這三個孩子後來被送到倫敦生活——這在英國屬於非婚生子女。
後來他又娶了海絲特（Hester Bredon），她的父親是赫德姨媽的醫生，兩人也生了三個孩子： 伊夫林（Evelyn），羅伯特（Robert）和梅布爾（ Mabel）