Acesse as Ferramentas no Menu superior do IE
Selecione Gerenciar Complementos
Selecione os indesejáveis, e clique no botão desabilitar.
O problema do "sempre falho" Internet Explorer é não permitir a exclusão. Tal operação precisa ser feita no Painel de Desinstalação de Programas ou no registro do Windows.