A construção começou com a colocação da pedra angular no dia 13 de outubro de 1792. Um diário conservado pelo comissário de construções do Distrito de Columbia registaregistra que os apoios da residência principal foram escavadas por [[escravo]]s. As fundações foram, igualmente, construídas por trabalho escravo. muito do restante trabalho no edifício foi realizado por [[imigrante]]s, muitos deles ainda sem a cidadania. As paredes de [[arenito]] foram erguidas por imigrantes [[Escócia|escoceses]], assim como as decorações com grinaldas em [[alto relevo]] por cima da entrada Norte e o padrão em "escama de peixe" sob os frontões das remates das janelas. Muitos dos trabalhos em tijolo e reboco foi produzido por imigrantes [[Irlanda|irlandeses]] e [[Itália|italianos]]. A construção inicial estendeu-se por um período superior a oito anos, com um custo de 232.371,83 [[dólar]]es (2,4 milhões de dólares em 2005). Apesar de ainda não estar completa, a Casa Branca estava pronta para ser ocupada no dia 1 de novembro de 1800.<ref>{{Citar web|url=http://www.whitehousemuseum.org/overview.htm|título=Overview - White House Museum|publicado=www.whitehousemuseum.org|acessodata=23 de novembro de 2014}}</ref> Quando o palácio presidencial ficou concluído, as porosas paredes de arenito foram revestidas com uma mistura de [[cal]], grude, [[caseína]] e [[chumbo]], dando ao edifício a sua cor familiar e o seu nome.
