El Arco de la Cárcel, situado al noreste de la Villa, es la única puerta de la muralla que se conserva. Es en este área donde se localizan los únicos vestigios de la muralla, que se han identificados con la cerca de la huerta del monasterio de San Miguel.
De las cuatro puertas que existieron en la Villa, ésta fue la principal. Se trata de un edificio muy sencillo, renacentista del siglo XV (no obstante, hay un sillar en la parte que mira a la carretera con la fecha 1569), planta rectangular, de tres alturas, con arco doble de medio punto, ventanas adinteladas y tejado a cuatro aguas.
Fue mandado construir por Los Velasco y su escudo familiar estuvo decorando su fachada, hoy está picado. Su aspecto sólido y cerrado, posibilitó que fuese utilizado como cárcel del partido, de lo que deriva su nombre. Cuando dejó de funcionar como tal, el edificio fue acondicionado en 1987 como Museo Pictórico, albergando pinturas donadas al Ayuntamiento de Villadiego por los herederos de Lorenzo Albarrán.
