Escarigo fica situado na margem esquerda da Ribeira de Tourões, mesmo junto à fronteira.
O seu topónimo deve ser proveniente de um nome pessoal Hispano-Visigótico ”ASCARIUS” que se usou até finais do séc. XI no noroeste peninsular.

A Igreja Matriz é mencionada em 1395 estando incorporada na relação das Igrejas do termo de Castelo Rodrigo.
Durante a Guerra da Restauração (1640 -1668) foi completamente arrasada, mais precisamente a 17 de Outubro de 1642.
No “Numeramento” de 1758 o Pároco Manuel Ferreira da Silva escrevia “… que Escarigo já fora uma Lisboa – a pequena, terra de grandes tratos e fabriquetas e, que esse apelido tinha sido posto à então grande povoação pela gente mui numerosa e de grandeza que aqui vivia. Dizem que nesta terra assistiam os ministros que hoje governam a vila de Castelo Rodrigo e que na mesma havia homens cavaleiros e de distinção e muitos nobres e de grandes cabedais, assim em dinheiro como em fazendas…. O que arruyinara Escarigo fora esse tal 1640. Que os grandes da terra, por temor fronteiriço e pouca fé na pátria, se tinham logo largado correndo a Castela para reiterar obediência ao Rei Filipe…”.

Em termos monumentais destaca-se:

Igreja Matriz com aparência exterior de fortaleza, o templo é de estilo românico, com alçado quadrangular foi classificada como Imóvel de Interesse Público a 12 de setembro de 1978. O templo foi sujeito a obras de ampliação ao longo dos tempos, com é disso exemplo o alpendre, de construção posterior, protegendo a porta lateral.

Albergaria é um edifício da época medieval, que serviu de pousada aos necessitados e aos peregrinos que, vindos de Castela se dirigiam para Santiago de Compostela na Galiza, a porta e a janela deste edifício mostram características quinhentistas.

Cruzeiro, um monumento que perpetua a memória da invasão castelhana em 17 de outubro de 1642. Escarigo foi a povoação que primeiro sentiu os efeitos da destruidora investida do exército espanhol.

De salientar também a fonte gótica do séc. XV e o Nicho Manuelino.