Martha Whyte a épousé Charles Bruce, 5e comte d'Elgin et Kincardine, le 1er juin 1755, à Édimbourg, en Écosse. Martha était la fille unique du banquier londonien Thomas Whyte. Ensemble, ils ont eu 8 enfants, dont beaucoup sont devenus des personnalités éminentes du monde militaire et politique de la Grande-Bretagne aux XVIIIe et XIXe siècles et documentés sur d'autres pages de ce site Web.

Le portrait de la comtesse Elgin (ci-dessus) a été peint en 1762 par Allan Ramsay, le même artiste qui a également peint un portrait du roi George III la même année.

Les deux filles aînées de Martha, Martha et Janet, sont décédées dans leur enfance à l'âge de 7 et 6 ans respectivement, en 1767. Le 14 mai 1771, le mari de Martha, Charles, est décédé, laissant Martha veuve. Seulement 2 mois plus tard, son fils aîné, le nouveau Lord Elgin (6e comte d'Elgin) est décédé à l'âge de 7 ans.

Les 4 enfants restants de Martha (1 fille et 3 garçons)  a survécu jusqu'à l'âge adulte, mais son plus jeune fils, James, âgé de 29 ans, s'est noyé le 10 juillet 1798 en traversant la rivière Don dans le Yorkshire lorsque son cheval a été emporté par le ruisseau.  

En 1799, Martha fut nommée à titre personnel  par le roi George III pour devenir gouvernant (ce qui signifie « gardien » plutôt que gouvernante) de Charlotte, princesse de Galles, et héritière présomptive du trône britannique. Selon des documents historiques, Lady Elgin et les princes de Galles sont devenus très proches. Ils vivaient à Warwick House, situé dans le quartier St. James de Londres, avec seulement des domestiques dans la maison.

L'histoire derrière la princesse Charlotte est également intéressante. Son père, George, prince de Galles (et plus tard le roi George IV) et sa mère, Caroline de Brunswick, princesse de Galles (et plus tard reine), se détestaient avant leur mariage arrangé et se sont séparés peu de temps après. Charlotte était leur unique enfant, et si elle avait survécu à son grand-père, le roi George III, et à son père, elle serait devenue reine. Le prince de Galles, qui percevait lui-même un bon revenu, n'avait aucun désir réel de se marier mais a été contraint par le Premier ministre William Pitt le Jeune de se marier et de produire un héritier. Afin de convaincre le prince de le faire, il a promis un revenu accru s'il se mariait. Le prince de Galles vivait bien au-dessus de ses moyens, alors cette promesse de revenus supplémentaires l'a poussé à chercher une épouse convenable.  

Caroline de Brunswick a été choisie (une histoire longue et compliquée en soi) et était la cousine germaine de George. Le mariage n'a pas été heureux et le couple s'est séparé quelques semaines après leur mariage, bien qu'il ait continué à vivre sous le même toit. à Carlton House.  À seulement 9 mois de leur mariage, la princesse Charlotte est née.

Le prince de Galles était légèrement mécontent que le bébé ne soit pas un garçon, mais le roi George III était ravi d'avoir un petit-enfant légitime. Le roi George préférait également les bébés filles, il était donc très heureux de la naissance. Le roi George espérait également que la naissance de Charlotte aiderait à réconcilier le prince et la princesse de Galles (ce n'est pas le cas).

Le prince de Galles a laissé Charlotte être élevée par des gouvernantes et des serviteurs, et ne lui a permis qu'un accès limité à sa mère, la princesse de Galles (qui a finalement quitté l'Angleterre). Martha semble avoir été une bouffée d'air frais pour la princesse, et leur amitié et leur lien sont bien documentés. Le prince et la princesse de Galles ont utilisé Charlotte comme un pion bien qu'il semble que la princesse Caroline ait vu beaucoup plus Charlotte que son père.

En 1804, après avoir passé 5 ans avec la princesse Charlotte, le prince de Galles la limoge. La raison officielle de son licenciement a été donnée comme son âge - elle était considérée comme trop âgée à l'âge de 65 ans - mais les initiés soutiennent que Martha avait exaspéré le prince en emmenant la princesse Charlotte voir son grand-père, le roi George III (qu'elle adorait) sans son autorisation.

Martha a été dévastée d'avoir été démis de ses fonctions de tutrice de Charlotte et est décédée en 1810 à l'âge de 70 ans.  

Lorsque la princesse Charlotte mourut après l'accouchement en 1818, mention fut donnée à son amie et tutrice, Lady Elgin, disant qu'elle était « une comtesse très digne et pieuse qui a agi pendant quelques années en tant que gouvernante ».