Jelsa ligger i viken på den norra sidan av ön Hvars centrala del. Det är format runt fem torg och det består av två huvuddelar: Vela Banda på den södra kusten och Mala Banda på den norra. Dess viker och bukter är väldigt lämpade för sol och bad. Turister dras till sand, småsten och steniga stränder och en tjock tallskog.
De mest populära stränderna är:
Mina - den mest populära sandstranden, den ligger 500 m från centrala Jelsa. Den är perfekt för barn.
Grebišće - en populär sandig bukt som ligger 1.5 km från Jelsa. Den består av två vikar: Vela Grebišća och Mola Grebišća
Zenčišća - en badplats, 3 km öster om Jelsa.
Vala Sv. Luke - en småstensstrand, 4 km öster om Jelsa.
Bočić - en badplats med betong och steniga paneler, den ligger 300 m från Jelsas centrum.
Soline - en halvö, cirka 6 km från Jelsa, där finns många små småstensvikar på dess södra sida, medan steniga paneler i regelbundna former dominerar dess norra sida.
Zečevo - en liten ö cirka 20 minuters åktur med en liten båt.
Mala stiniva - en småstensstrand med vackert kristallblått hav. Den ligger 30 minuters bilresa från Jelsa. Den är känd för de vertikala stenar som omger den.
Jelsa är rik på växtlighet vilket är ovanligt i Dalmatien och den har länge varit känd för dess kvalitativa röda viner.