Det har hidtil været umuligt for arkæologer og historikere at kaste lys over Voldstedets fortid. Dets størrelse og udstrækning antyder, at der bag de anselige volde har knejset et bygningsværk af format – måske en borg. I dag er Jels Voldsted kendetegnet ved sin smukke natur lige ned til Jels Midtsø, omkranset af skov. Den maleriske bygning ’Jels Voldsted’ fra 1920 indeholder café og selskabslokaler.