音楽をライフワークとしながら、吉岡さんは日本女子大大学院生の30歳のころ、結婚している。相手は20歳のころからの知り合いだった。 「結婚願望はなかったんですけどね、まあ、縁ですかねえ」 　31歳のときに出産、子育てをしながらコンサートをしたりNHKの仕事をしたりと多忙を極め、心身に不調が起こり始めた。 「当時は心身症と言われましたが、今だと不安神経症とかパニック障害とか、そういう感じかもしれない。怖くて電車に乗れなくなったり過呼吸が起こったりするの。あとから考えれば、もしかしたら父の死を引きずっていたのかもしれませんね。父の死を大人になってからも受け止めきれていなかったような気がする」 　不調であっても、「元気でなければ私じゃない」と自分で自分にプレッシャーをかけ続けた。与謝野晶子や金子みすゞの詩に曲をつけたコンサートが話題にもなっていた。そのさなかの36歳のとき、研究者の夫が在外研究でカリフォルニアの大学に行くことになった。家族で行くべきかどうか、かなり悩んだという。 「仕事がとても順調だったから、このまま日本にいたい気持ちもありました。でも、子育てと仕事で綱渡りみたいな生活が続いていて、もしかしたら環境を変えてみてもいいんじゃないかとも思った。 　最後は、もしアメリカ生活が向いていなかったら1ヶ月で戻ってきちゃってもいいや、という気持ちで行ったら、案外、楽しくてね。あちこちでコンサートをすることもできて。ところが帰国したら、今度は、死んだほうがマシというくらいの心身症になってしまった」 　新幹線に乗ると不安が高じて、ずっと車内を歩き続けてしまう。飛行機に乗ると飛行中に降りたくてたまらなくなる。体の中に「何か別の物がいる」感覚があった。それでも40歳を過ぎてから大学の教員の職も得、学生と接することで救われるところもあった。とにかく、根がまじめなのだ。自分に完璧を強いる性格だから、どんなに多忙でも朝早く起きて子どもにお弁当を作っていたという。