Arthur Cayley nasceu em Richmond, Londres, Inglaterra, em 16 de Agosto de 18211822. Seu pai, Henry Cayley, foi um primo distante do engenheiro aeronáutico [[George Cayley]], e descendente da antiga família [[Yorkshire (Inglaterra)|Yorkshire]]. Ele estabeleceu em [[São Petesburgo]], Rússia, como um comerciante. Sua mãe foi Maria Antonia Doughty, filha de William Doughty. De acordo com alguns escritores, ela era russa, mas o nome de seu pai indica uma origem inglesa. Seu irmão foi o linguista [[Charles Bagot Cayley]]. Arthur ficou em São Petesburgo durante seus primeiros oito anos. Seus pais estabeleceram-se permanentemente em Blackheath, próximo a Londres. Arthur foi mandado para uma escola privada. Desde cedo ele demostrou um grande gosto e habilidade em cálculo numérico. O mestre da escola notou nele sinais de genialidade em matemática, e avisou para o seu pai educá-lo, não para seguir o seu negócio, como ele havia pretendido, mas para ele entrar na [[Universidade de Cambridge]].