Det er ikke muligt med sikkerhed at fastslå kirkens alder. Nexø blev købstad i 1346. Måske er den ældste del af kirken fra den tid. Oprindeligt var kirken i den lille fattige fiskerby blot et kapel, indviet til sømændenes skytshelgen "Sct. Nicolai".
Siden blev kapellet bygget større. Murene blev 1730-31 forhøjet med 4 alen (ca. 2 meter), og vinduerne fik den nuværende størrelse. Hullet i muren bag trappen til prædikestolen stammer muligvis fra et af de oprindelige vinduer.
Tårnet er fra 1500-tallet. Spiret med det løgformede kobbertag er sat op i 1910. Der var et lignende spir fra 1620-1797. Våbenhuset på sydsiden af kirken og ligkapellet på nordsiden er fra 1700-tallet. Det nordre sideskib er tilbygget i 1760. Bemærk kirkemuren af Nexø sandsten.