Gerard Dever was een van de edelen die graaf Floris V in 1272 hielp in de strijd tegen de Westfriezen. Toch dateert ’t Huys Dever waarschijnlijk pas van omstreeks 1370. In 1388 reed graaf Albrecht van Beyeren met zijn vriendin Aleid van Poelgeest en hun gevolg van Teylingen naar de ‘’woninge van Reinier Devers”. Zij verteerden daar voor vijf gouden guldens. In 1417 beleent de kleindochter van graaf Albrecht, Jacoba van Beyeren, het Huis te Lisse met Gijsbert van Haeften, de kleinzoon van Reinier Devers.
De rijke patriciërsfamilie Heereman van Zuydtwijck vertrok naar het toen Duitse Roermond, omdat de overheid het hen te lastig maakte. ’t Huys Dever raakte in verval. Na de Tweede Wereldoorlog moest de Duitse baron Heereman zijn bezit afstaan. De gemeente Lisse nam de ruïne over voor één gulden, waarna een beheerstichting de monumentale toren overnam.
De hoefijzer-vormige torenburcht is uniek in zijn soort. In de 20e eeuw werden de fundamenten van de trapeziumvormige voorburcht ontdekt en blootgelegd. In 2000 is de oorspronkelijke slotgracht, die in de loop der eeuwen was verdwenen, voor een deel opnieuw gegraven.
