Utvrdu (kaštel) s dvorištem, danas poznatu kao kaštel Rotondo, dao je 1508.g. izgraditi trogirski vlastelin Stjepan Štafileo, na morskoj hridi. Stambeni dio kaštela nalazio se na južnoj strani gdje se nalaze i vrata za napuštanje kaštela brodovima. Zanimljivo je da je prezime i obiteljski grb uzeo grozd - grčki staphile. Oko naselja stvoreno je naselje pravokutnog tlocrta, okruženo jarkom. Iz sela su preko pokretnog mosta vodila Sela vrata. Prostor je nazvan Brce. Tako se samo u Kaštel Štafiliću i Kaštel Novom Brca nalaze na periferiji sela, dok se kod ostalih nalaze uz sam kaštel. Uz obrambene zidine sagrađen je kaštel obitelji Ferra, danas u vlasništvu obitelji Pera. Na zapadnom dijelu Kaštel Štafilića nalazi se kula Nehaj koju su 1548.g. počeli graditi Ljudevit i Ivan Lodi. Kula je sagrađena do gornjih pragova prozora prvog kata. Radovi su prestali nakon smrti braće Lodi, a kako nisu imali muških potomaka, kćeri i zetovi su odustali od gradnje. Kula Nehaj, iako nedovršena, plijeni poglede likovnjaka, pjesnika i turista. Ponekad za vrijeme plime izgleda kao da plovi morem. Prva crkva u Štafiliću sagrađena je 1566.g. na kojoj su do današnjeg, baroknog izgleda izvršene brojne preinake. U njoj se nalazi čudotvorna ikona iz 16.st., tradicionalni kaštelanski zlatni nakit, te kipovi sv. Blaža i sv. Lucije, radovi Marina Studina.