In 1489 was de grachtengordel om de stad klaar, in de jaren daarna volgden de muren, rondelen en poorten. Nog steeds is dit middeleeuwse vestingwerk in de plattegrond van de stad te herkennen: Paktuinen, Prinsenstraat, Oude Gracht en Spaans Leger markeren duidelijk de grens tussen het middeleeuwse Enkhuizen en de zeventiende-eeuwse uitbreiding. Op de punt tussen Oude Gracht en Spaans Leger was een rondeel met een merkwaardige naam: Spijtbroekstoren. Bij de bouw daarvan in 1488 herinnerden de Enkhuizers zich dat de Hoekse Grootebroekers daar ooit een aanval deden op het Kabeljauwse Enkhuizen. De Grootebroekers hadden zich verstopt in schuiten met hooi, maar werden ontdekt en tot diep in de Streek nagejaagd. Meer dan zestig jaar later noemde men dit bolwerkje Spijtbroekstoren: het punt waar de ‘Broekers’ spijt kregen. Na een opgraving zijn de fundamenten nu weer in het plaveisel aangegeven.

Aan het einde van de zestiende eeuw was de stenen muur ouderwets geworden. De Tachtigjarige Oorlog had geleerd dat de kannonnen veel te krachtig waren. De stad had binnen de muren ook te weinig ruimte. In 1595 werd met de aanleg van een moderne aarden omwalling met puntige bastions begonnen. De muur met zijn rondelen werd gesloopt. Alleen de Drommedaris bleef staan.

In 1649 werd hij zelfs opgehoogd tot zijn huidige hoogte en vorm en werd er het oude carillon van de Zuiderkerk in gehangen. Voor de Zuiderkerk had men een splinternieuw carillon van de gebroeders Hemony gekocht. Twintig jaar later werd er ook voor de Drommedaris een Hemony-carillon besteld. Die ophoging en dat carillon waren er niet alleen voor de sier. De klokken dienden voor het aangeven van de tijd en als misthoorn.

Afbeelding 1: De Drommedaris voor de ophoging van 1649. Hier is het gebouw nog deel van de middeleeuwse stadsmuur. De tekst is een afrekening van de schulden van een overleden VOC soldaat. Zulke stukken komen regelmatig voor in de archieven van de soldijboekhouding van de VOC.