O topónimo da freguesia - Fragoso - deriva das características naturais do terreno demarcado por muitas fragas e barrancos.

Quanto às suas origens não é possível definir qualquer data que as situe no tempo. Apenas podemos referir, como documento mais antigo e importante da sua história, a Carta de Doação de Couto concedida por D. Afonso Henriques à Ermida de S. Vicente de Fragoso, no ano de 1127.

Dentro do espaço delimitado na Carta, além da freguesia de S. Vicente, encontrava-se também a de S. Pedro e ainda parte do lugar de Cardoso, nos limites de Tregosa. O antigo território do Couto constitui hoje a freguesia de S. Pedro Fragoso.