O Assistente de Instalação do SQL Server não tem suporte no Windows Server Core. Você deve usar o modo Silencioso Completo ...

O Assistente de Instalação do SQL Server não tem suporte no Windows Server Core. Você deve usar o modo Silencioso Completo especificando o parâmetro /Q, ou o modo Silencioso Simples especificando o parâmetro /QS. O parâmetro /QS mostra apenas o progresso, não aceita nenhuma entrada e não exibe mensagens de erro, caso sejam encontradas. Entretanto, você poderá ignorar esse bloco especificando o parâmetro /UIMODE=EnableUIOnServerCore.