Lítill samgangur var við restina af Skotlandi og hið daglega líf snerist aðallega um að lifa af. Steinhús voru byggð á stærstu eyjunni, Hirta, í þorpinu Village Bay en aðeins var búið á Hirta. Á hverjum morgni héldu allir fullorðnir karlmenn á eyjunni fund. Þar ræddu þeir verkefni dagsins og skiptu þeim á milli sín. Enginn eiginlegur leiðtogi var á eyjunni og allir höfðu málfrelsi og tillögurétt á þessum morgunfundum.
T. Steel, sagnfræðingur og rithöfundur, skrifaði bókina „Life and Death of St Kilda“ 1988. Í henni segir hann að oft hafi verið heitar umræður á þessum fundum en þær hafi aldrei leitt til langvarandi illdeilna meðal eyjaskeggja. Á þeim 2.000 árum sem eyjan var í byggð var ekki eitt einasta alvarlega afbrot skráð þar.
Samvinna var grundvöllur þess að fólk gæti lifað af á eyjunni. Þrátt fyrir að þær séu langt úti í hafi voru fiskveiðar ekki hluti af daglegu lífi íbúanna. Veðrið var og er oft mjög slæmt á þessum slóðum og hafnaraðstaða var lítil sem engin og fiskveiðar því ekki einfaldar. Íbúarnir nærðust aðallega á fuglum og eggjum, og kornmeti og kartöflum sem þeir ræktuðu. Auk þess voru þeir með sauðfé en það tilheyrði eiganda eyjanna, skosku MacLeod-fjölskyldunni. Eyjaskeggjar greiddu fjölskyldunni leigu, aðallega fugla, egg og dún.
Minjar, sem sýna að búið var á eyjunum á bronsöld, hafa fundist en fyrstu skriflegu heimildirnar fyrir því eru frá því í um 1300. Fyrsta nákvæma skýrslan um St Kilda var skrifuð 1549 af prestinum Donald Munro. Hann skrifaði að eyjaskeggjar væru „fátækt og einfalt fólk sem vissi lítið um trúarbrögð“.
Eftir því sem árin liðu jukust samskiptin við Skotland þrátt fyrir að samskiptaleiðirnar væru erfiðar. Sjóleiðin var erfið, oft úfinn sjór og ölduhæðin oft 12 til 15 metrar. Lengi vel var eina samskiptaleið eyjaskeggja við umheiminn að kveikja bál í þeirri von að skip, á leið fram hjá, myndi sjá það.
Á nítjándu öld jukust samskiptin við umheiminn og eyjaskeggjar urðu sífellt háðari innfluttum mat og öðru frá meginlandi Skotlands. 1876 var matarskortur á eyjunni og í von um skjóta aðstoð var tekið upp nýtt samskiptakerfi sem var nefnt „mailboat“ (póstbátur). Bréfi var þá komið fyrir í flösku eða tinboxi sem var sett í trékassa sem var festur við uppblásna kindablöðru sem gegndi hlutverki flotholts. Þessu var síðan kastað í sjóinn í þeirri von að þetta ræki að landi í Skotlandi. En sjórinn var erfiður viðureignar og margir af þessum „póstbátum“ fundust síðar við vesturströnd Noregs.
Á tuttugustu öldinni settu sjúkdómar og brottflutningur íbúa mark sitt á eyjuna. Þegar fyrri heimsstyrjöldin braust út 1914 var dregið mjög úr samskiptum og viðskiptum við St Kilda.
Þann 29. ágúst 1930 rann svo lokadagur byggðar á eyjunni upp en þá voru síðustu 36 íbúar eyjunnar fluttir til meginlands Skotlands. Síðan hefur ekki verið föst búseta á eyjunum en þær eru stundum notaðar til æfinga af breska hernum. Fuglafræðingar sækja einnig þangað enda einstakt fuglalíf. St Kilda er á heimsminjaskrá UNESCO.
2016 lést Rachel Johnson, 93 ára að aldri, en hún var síðasti íbúi St Kilda sem lést. The Guardian skýrði frá þessu.
