Γεννημένη στο Μιλγουόκι, με μητέρα τη φημισμένη ηθοποιό του θεάτρου (και αργότερα της τηλεόρασης) Έθελ Όουεν, η Μπρίτον χρησιμοποιούσε αρχικά το κανονικό της όνομα (Γκλόρια Τζέιν Όουεν). Αρνούμενη, ωστόσο, να εκμεταλλευτεί τη φήμη του ονόματος της μητέρας της, διάλεξε από τα 15 της κιόλας χρόνια το όνομα Πάμελα από ένα αγαπημένο της βιβλίο και το επώνυμο Μπρίτον ακριβώς επειδή ήταν... βρετανικό!
Στο σχολείο και στο κολέγιο, η νεαρή Πάμελα έδειχνε κλίση προς τον αθλητισμό (έπαιζε τένις, κολύμπι και γκολφ) παράλληλα με την αγάπη της για την ηθοποιία. Μόλις στα εννιά της χρόνια, είχε προσφορές που θα μπορούσαν να την έχουν εξελίξει σε μια δεύτερη Σίρλεϊ Τεμπλ, ωστόσο κάτι τέτοιο δεν το επέτρεψε η μητέρα της, λέγοντας ότι ναι μεν θέλει να δει την κόρη της κάποια στιγμή ηθοποιό, αλλά όχι ένα ακόμα «παιδί-θαύμα» που θα το εκμεταλλεύονταν οι διάφοροι μεγαλοσχήμονες της χολυγουντιανής σόου μπίζνες.
