薩摩志士で伯爵樺山家に生まれた自らの性質や、その出自を、生涯を通じ強く意識（その事で夫次郎と口論となり張り手をしたことも）した。

幼少期より梅若流の能の舞台にあがり、能に造詣が深く、青山二郎や小林秀雄の薫陶を受け骨董を愛し、日本の美についての随筆を多く著す。梅原龍三郎や、晩年は護立の孫で元首相の細川護熙、河合隼雄や多田富雄等との交友もあった。

また名人といわれた能楽師・友枝喜久夫の仕舞の会を自宅で開き、演芸研究者渡辺保も参加していた。 骨董収集家としても著名。収蔵品は武者小路公種の百人一首ほか数々の名品揃いである（愛蔵版「私の百人一首」に所収）。
姉に近藤泰子、夫は白洲次郎。