Borgen Nea Pafos ligger vid hamnens västra ände. Den byggdes under den frankiska ockupationen på 1200-talet för att ersätta den bysantinska borgen Saranta Kolones. Borgen har bara en ingång på den östra sidan och mycket små fönster. Den består till största delen av ett stort fyrkantigt torn med en borggård i mitten. Venetianarna raserade borgen 1570 för att ottomanerna som hade inlett sin erövring av ön inte skulle kunna använda den. Enligt en inskription på turkiska ovanför ingången byggde ottomanerna upp borgen på nytt 1780. I närheten finns ruinerna efter ytterligare en borg som troligen byggdes under samma period.