Filho de um pai escocês chamado John Miller, que veio ao [[Brasil]] para trabalhar na [[São Paulo Railway|São Paulo Railway Company]],<ref name="Tarde 2003">"Replay", ''Jornal da Tarde'', 24/11/2003, Edição de Esportes, pág. 41</ref> e uma mãe brasileira de ascendência [[inglesa]] chamada Carlota Fox, nasceu perto da estação ferroviária da mesma companhia em São Paulo. Aos dez anos, foi estudar na [[Inglaterra]]. Desembarcou em [[Southampton]], no extrerno sul das [[ilhas britânicas]], e aprendeu a jogar futebol na [[Bannister Court School]]. Atuando como jogador, árbitro e dirigente desde o princípio - e mais tarde apenas nas duas últimas funções - foi um entusiasta do [[desporto]] em geral, sendo também fundador da Associação Paulista de Tênis.{{carece fontes}} Sem sombra de dúvidas Charles Miller, ao lado de [[Hans Nobiling]], [[Arthur Friedenreich]], [[Frederico Fritz Essenfelder|Fritz Essenfelder]], [[Hermann Friese]],[[Oscar Alfredo Cox]], [[Belfort Duarte]] (entre outros) foi um dos grandes propagadores do [[futebol]] no Brasil.
Em [[1884]] ele foi mandado para uma [[escola pública]] em [[Hampshire]], na [[Inglaterra]], onde aprendeu a jogar [[futebol]], [[rugby]] e [[críquete]]. Enquanto estava nesta escola, jogou por eles contra os times [[Corinthians Football Club|Corinthians Team]] e o de [[Southampton FC|St. Mary]]'s.
