"All Apologies" foi lançada juntamente com "Rape Me" numem compacto''single'' de lado-A duplo, no dia 6 de dezembro de 1993. Assim como "Heart-Shaped Box", não houve lançamento comercial nos EUA, tendo sido lançada apenas num CD promocional para estações de rádio.
Já no Reino Unido, o compacto''single'' foi lançado comercialmente em vinil de 7", vinil de 12" (que este incluía duas impressões da arte de capa e um postal), em fita cassete e em CD. Todas as edições britânicas incluíam a canção inédita "MV" (também conhecida como "Moist Vagina") como lado-B, ausente na versão promocional estadunidense (que só contava com as faixas lado-A).
A única instrução que Cobain deu ao diretor de arte, Robert Fisher, com relação à arte de capa do compacto, foi que ele queria "algo com cavalos marinhos".
