O Colégio Jesuíta da cidade de Elvas começou a ser construído em meados do séc. XVII, sendo inaugurado com um grande cerimonial a 17 de Agosto de 1692. No entanto, a sua história recua séculos no tempo. No local do Colégio foi erigida uma igreja denominada de Santiago em 1282 da qual hoje pouco sabemos além de que terá provavelmente sido iniciativa dos cavaleiros da Ordem da Espada, que foi cabeça de uma comenda e que na sua capela-mor estava sepultado João Mendes do Rio, primeiro fidalgo deste apelido que houve em Elvas (o colégio ficou depois obrigado a dar aos descendentes do fidalgo a capela colateral do lado do Evangelho da nova igreja) ou que tinha a si anexo o denominado Hospital dos Romeiros (é de fazer notar que a igreja serviria o caminho de Santiago e por isso a designação do seu anexo de Romeiros).

É esta ermida que vai doada por D. Afonso VI em 1659 aos jesuítas para aí fazerem o seu colégio, depois da doação feita por D. Aldonça da Mota em 1599 no seu testamento. A falecida deixava ao seu marido Diogo de Brito uma fazenda para que “se dotasse a uma obra pia de mosteiro ou hospital” e quando o esposo vem a falecer em Lisboa em Setembro de 1604 deixou também em testamento a última vontade de D. Aldonça da Mota. Em Elvas far-se-ia “um collegio da Companhia de Jesus (…) com zelo e desejo de fazer este serviço a Nosso Senhor e a todos os seus naturaes”. A carta de aceitação do colégio chegou a Elvas em 1610 mas o colégio só abriria mais tarde, em 1692, até porque tinha parecer negativo do Cabido da cidade (apesar disso o bispo daria a sua licença em 1642). Apesar da traça estar há muito feita pelo padre Bartolomeu Duarte, em 1718 ainda se acha o edifício do colégio em obras, afirmação suscitada por uma escritura entre o reitor, o Padre Silvestre de Carvalho e os mestres João Fernandes Cordeiro (morador na Rua de Évora) e Tomé da Silva. No colégio criar-se-ia entre outras, uma aula de Gramática e outra de Matemática, disciplina cujo professor era o belga Thomaz Audueno a que assistiam o príncipe D. Teodósio e André de Albuquerque que viria a ser herói na batalha das Linhas de Elvas.