Ovi su prostori bili naseljeni već u prapovijesno doba. Najstarije tragove ljudskih staništa nalazimo na obližnjem brežuljku Sv. Juraj.

Zaravnjeni plato brijega poput prstena uokviruje kameni nasip, koj i je nastao rušenjem masivnog pretpovijesnog bedema. Unutar kamenog zida koji je nekad sezao i do tri metra visine, nalazilo se naselje čije su tragove izbrisala stoljeća i isprale kiše. Vjeruje se daje gradina nastala tijekom srednjeg brončanog doba. Njezini graditelji bili su Liburni, narod koji je vladao sjevernim Jadranom i otocima.

Nautičke vrijednosti prirodnih luka, ali i ljepote ovog kraja cijenili su i Rimljani. Nalazi otkriveni na prostoru Selca svjedoče o kasnoantičkoj naseobini iz II. stoljeća. Tu se nalazilo gospodarsko imanje, vilarustika.

Ovim krajem prolazila je važna rimska prometnica koja je povezivala sjever Italije (grad Aquileia) preko Tergeste (Trst), Tarsatice (stari grad Rijeka) s Dalmacijom.

Rimska zemljopisna karta Tabula Peutingeriana i neki kasnoantički vodiči bilježe jednu značajniju postaju pod nazivom Ad Turres, koja je raspolagala vojnom posadom i osiguravala čitav ovaj kraj.

Potkraj VI. stoljeća hrvatska plemena prodiru rimskim cestama sa sjeverozapada. Asimiliraju zatečeno romansko stanovništvo, od kojega preuzimaju neke vještine kao sto je uzgoj vinove loze.

Tijekom srednjeg vijeka upravo je Selce bilo poznato po dobrim vinogradima. Uz zemljoradnju i stočarstvo, postupno se razvijaju ribarstvo i pomorstvo.

Godine 1224. knezovi Krčki dolaze u posjed Vinodola. Tada i Selce, kao dio starohrvatske općine Bribir, dolazi u posjed ove velikaške obitelji koja od sredine XV. stoljeća nosi naziv Frankopan. U prirodno zaštićenoj uvali Selce uređuju se sadržaji za prihvat i pretovar robe i mjesto dobiva sve značajniju trgovačku ulogu.

Godine 1572. Selce i gotovo cijeli vinodolski posjed preuzimaju knezovi Zrinski, Zrinski potiču trgovinu kopnom i morem, pa se trgovačka luka u Selcu sve intenzivnije razvija. Selčani su se tradicionalno bavili vinogradarstvom, maslinarstvom, ovčarstvom i tunolovom. Masline su se prerađivale u čak tri "toča", mlina za preradu maslina.

Uz ribarstvo, Selčani su se u XIX. stoljeću bavili pomorstvom i trgovinom, pa je potkraj XIX. stoljeća u mjestu bilo dvadesetak većih jedrenjaka kojima se prevozi vino, ulje i druga roba.