Το Παλιό Κωσταράζι αποτέλεσε καταφύγιο για τα ελληνικά αντάρτικα σώματα των Μακεδονομάχων κατά τη διάρκεια του Μακεδονικού Αγώνα, λόγω έλλειψης βουλγαρικής επιρροής και χωρίς κανένα φόβο προδοσίας από τους κατοίκους του χωριού…
Έτσι, στις 8 Σεπτεμβρίου του 1904, μετά από συνεχή πορεία αρκετών ημερών και συνήθως σε συνθήκες βροχής και κακοκαιρίας, ο Παύλος Μελάς φθάνει με τους άνδρες του στο Κωσταράζι, όπου θα φιλοξενηθούν για δύο ημέρες για να συνεχίσουν την πορεία τους.
Μάλιστα ο Παύλος Μελάς, σε επιστολή του προς την γυναίκα του Ναταλία Δραγούμη (9 Σεπτεμβρίου 1904), κάνει ειδική αναφορά για την ασφάλεια του Κωσταραζίου και την εμπιστοσύνη των κατοίκων του.
”…Μολονότι είναι μυστική η διαμονή μας εις το χωριό, έρχονται όλοι ενθουσιασμένοι και μας βλέπουν, έχουν πάθος φοβερό κατά των Βουλγάρων, αν και μόνον απειλάς προς φορολογίαν υπέστησαν.
Εσκέφθην ότι, ως τρίτος σταθμός των όπλων είναι καταλληλότατον το Κωσταράζι και λόγο της θέσεώς του και λόγο της πιστότητος και αφοσιώσεως των ελαχίστων ανδρών του χωριού (οι πλείστοι τα 9/10 πηγαίνουν ως κτίσται εις τα ξένα, εις την Πόλιν και Εσκή Σεχήρ ως επί των πλείστων.)
Ώστε θα έχωμεν Βελεμίστι, Παλαιόκαστρον (Σιατιστα), Κονιστόν και Κωσταράζι.”