È situata sulle rive del nord e del sud della parte centrale dell’isola di Hvar. Si estende su 121,2 km2. Il censimento del 2001 mostra che il comune di Jelsa ha 3.656 abitanti. Il comune conprende 12 paesi: Gdinj, Gromin Dolac, Humac, Ivan Dolac, Jelsa, Pitve, Poljica, Svirče, Vrboska, Vrisnik, Zavala e Zastražišće. Come tutta l’isola, anche il comune di Jelsa ha una costiera ricca di baie, isolette e isole.
La circondano le due vette più alte dell'isola - S. Nikola (San Nicolò) a ovest e Hum a est.
Jelsa ha un clima mite, con inverni caldi e estati piacevoli, mentre tutto il comune è ricco di vegetazione mediterranea. Gli odori e gli aromi, le barche e la gente del piccolo paese con un porto grande fanno il carattere di Jelsa. Un ruscello divide la città in Vela Banda (la parte grande) e Mala Banda (la parte piccola).
Jelsa è stata popolata fin dai tempi preistorici, durante il periodo della colonizzazione greca e ai tempi dell’ Impero Romano. Tutta l’isola viene popolata dai Croati nel sec. VIII. Jelsa viene nominata nel sec. XIV. come il porto del paese Pitve (Portus de Pitue), costruita intorno alla chiesa di S. Giovanni.
