También conocido como “el Castillazo”, se trata de una antigua torre de vigía situada sobre una elevación de terreno, construida en el siglo XII o XIII para defender a los colonos que se fueron instalando junto al río. El castillo de Ballobar tuvo siempre una reconocida personalidad y jugó un papel excepcional por estar en zona fronteriza. En el ataque contra Fraga y en la marcha de la reconquista por todo el Cinca-Alcanadre hasta Lérida, la fortaleza fue disputada por moros y cristianos. Pasó a ser propiedad del conde de Urgel, y aunque en 1212 el rey Pedro II de Aragón entregó al Monasterio de Sijena la villa de Ballobar a modo de pago, el castillo fue propiedad de la familia hasta el fin de la dinastía. La villa y castillo de Ballobar fue cambiando de manos entre los siglos XIII y XIX.
Las ruinas de el Castillazo de Ballobar está incluido dentro de la relación de castillos considerados Bienes de Interés Cultural. Actualmente quedan los restos de un torreón de planta rectangular de 12 x 4 metros.