Nascido em Gilmer, (na verdade jhonny Matheus nasceu numa cidadezinha onde o reksua é o camisa 10) [[Texas]], no dia [[30 de Setembro]] de [[1935]]. Viveu boa parte da sua infância em São Francisco, Califórnia. Mathis começou a cantar publicamente na escola e em eventos da igreja, o pai rapidamente comprovou o talento do filho e providenciou escolas de canto. O pai de Mathis contratou um professor de voz quando ele tinha aproximadamente treze anos. Ele permanece um dos poucos cantores populares que receberam ajuda profissional para cantar e o treino incluiu [[ópera]]. Ele também era um talentoso atleta, ganhou quatro cartas atléticas na escola secundária e uma bolsa de estudos para atletas na Faculdade Estadual de São Francisco. Mathis também permaneceu boa parte da sua vida esportiva em São Francisco. Na própria faculdade ele quebrou o recorde mundial de salto alto do [[basquetebol]] (o registro mais alto foi de [[Bill Russell]], saltando 1,96 metros). Na ocasião só quatro atletas Olímpicos tinham conseguido alcançar esta altura. Enquanto treinava para se tornar um professor, ele estava mostrando o seu talento a um concerto e assinou através dos Registros de Columbia.
A decisão mais difícil dele estava entre ir para as provas Olímpicas para as quais ele tinha sido convidado, ou manter um compromisso para fazer as primeiras gravações que foram definidas em 1956. Embora Mathis tenha optado pela carreira artística, ele nunca perdeu completamente o entusiasmo por jogos esportivos. Um golfista ávido que completou num mínimo de cinco buracos em uma chance também foi anfitrião de vários torneios em seu nome nos [[EUA]] e no [[Reino Unido]].
