Com a queda do império romano, a Península Ibérica foi abalada por um conjunto sucessivo de invasões que culminaram no século VIII com a invasão árabe. A ocupação do território ocorreu sem grandes dificuldades e Viseu integrar-se-ia numa região denominada de Marca Inferior. Na cidade deve ter-se edificado uma pequena fortificação designada de alcácer. De planta quadrangular e torres nos ângulos, era aqui que estaria o governador da cidade. Ao presente, apenas um pequeno troço no alçado sul da catedral, voltado para a Praça D. Duarte, nos remete para aquilo que seria o alcácer de Viseu.