長男の小泉和夫は、八雲が最も溺愛した子供だった。父の期待を一身に受けながらも、その厳しい教育、とりわけ英語に関する指導には苦労したようだ。しかし、その成長は常に八雲の誇りだった。次男の稲垣岩尾は、四歳の時に稲垣家の養子となり、家を守る存在となった。明るく快活な性格で、兄弟の中でも特に八雲に似ていた。幼少期から持ち前の活発さで周囲を明るくする存在だった。三男の小泉木吉は、物静かな一方で母セツに深く愛されていた。しかし、彼は混血児としてのアイデンティティに悩み続け、最終的には自らその人生に幕を閉じる運命を選んだ。唯一の娘、小泉静子は幼少期に脳膜炎を患い、後遺症を抱えることに。それでもセツは彼女を生涯そばに置き、深い愛で包んだ。静子は独身を貫きながらも、母との絆を最後まで大切にしていた。