Teve amores na [[Itália]] com [[Diana de Falangola]], de quem nasceu um filho. De outra italiana, [[Zenobia Saratosia]], nasceu outro filho. Sua relação mais escandalosa foi com D. [[Ana de Toledo]], de ilustre família espanhola de [[Nápoles]].{{Carece de fontes|geo|si|data=setembro de 2010}}
Teve uma filha de Maria de Mendoza, Dona Ana de Áustria ([[1567]]—[[1629]]).
Teve uma filha de Maria de Mendoza, '''Dona Ana de Áustria''' ([[1567]]—[[1629]]). Criada por doña [[Magdalena Ulloa]], que educara o pai, e a internou aos sete anos em um convento. Em 1575, morto Dom João de Áustria, Alexandre Farnese contou a Filipe II sobre a menina. O Rei lhe concedeu imediatamente o sobrenome Áustria e o tratamento de Excelência. Aos 24 anos, no convento, teve ela um episódio com o frade agostinho português que a história conhece como [[Miguel dos Santos]], inimigo de Filipe no trono português{{Carece de fontes|geo|si|data=setembro de 2010}}. Prometeu casamento a Ana, e nobres portugueses acorreram a Madrigal, onde se tramava uma conjura (jóias e cartas que hoje estão no Arquivo Nacional de Simancas). Condenado Gabriel à forca em 1595, foi depois esquartejado{{Carece de fontes|geo|si|data=setembro de 2010}}. Ana foi levada a um convento em [[Ávila]], perdendo o tratamento de Excelência e foi condenada a, às sextas-feiras, durante sua vida, jejuar a pão e água{{Carece de fontes|geo|si|data=setembro de 2010}}. Quatro anos depois seria transferida ao [[convento de Las Huelgas]] de [[Burgos]].
