Em 14421422 ele se casou com [[Jacqueline, Condessa de Hainaut e Holanda]], filha de [[Guilherme IV, Conde Hainaut]]. Através dessa união,ele assumiu o título de [[Lista de condes da Holanda|Conde da Holanda]], [[Zelândia (Países Baixos)|Zelândia]] e [[Condado de Hainaut|Hainaut]], e por um curto período de tempo lutou para retê-lo quando foram contestados pelo primo de Jacqueline, [[Felipe, Duque da Borgonha]] ([[Guerra de Sucessão na Holanda]]). O casamento foi anulado em 1428, e Jacqueline morreu deserdada em 1436.
Sua segunda cônjuge foi a sua antiga amante, [[Eleanor Cobham]], que foi presa pelo resto de sua vida após julgamento sob acusações de usar-se de feitiçaria para aumentar o poder político de seu marido.
