Koločep je od davnina bio otok ljudi koji su sve stvorili vlastitim radom; pomorci, koraljari, brodograditelji, ribari, a proizvodili su i vapno. Na Koločepu su pronađeni brojni dokazi rane naseljenosti. Općenito je na Elafitima pronađeno puno tragova koji govore da su ljudi ovdje živjeli još u željezno doba. Mnogo kasnije, Grci i Rimljani ostavili su trag na otocima koji kao da se nalaze na pola puta između te dvije velike civilizacije.

Pronađeni su dokazi o rimskoj upravi nad otocima, a vjeruje se da su već u to vrijeme bili privlačno mjesto za život. Ugodno utočište predstavljali su Elafiti navodno i za neretljanske gusare, no svoju kasniju turističku privlačnost ozbiljnije su počeli stjecati kao mjesto za odmor i ladanje dubrovačkog plemstva i gospode. Svoje ime, "Insulae Elaphite", odnosno Otočje jelena, Elafiti duguju drevnoj legendi po kojoj je na njima paslo blago Heliosa, grčkoga boga Sunca. Zvuči primjereno; otoci su poznati upravo i po velikom broju sunčanih dana, pa su dobili i nadimak "Sunčani otoci".