日露戦争翌年の1906年（明治39年）、貫太とお銀が伏見の中書島に現れる。ここで居酒屋を営む山田勢五郎（お銀の叔父）を頼ってきたのである。

貫太は300円の資金を元手に女郎屋を開くことにし、空き家になっていた店を借りて「貫銀楼」と名付け、3人の女を雇い入れる。北陸の小さな町にいた生娘の菊奴、他の店から住み替えてきた竹奴、農村出身の松奴である。

女郎屋の経営も簡単ではない。松奴は性病にかかり休業を余儀なくされる。竹奴はゴロツキの男とともに逃亡してしまう。

救世軍の自由廃業運動が盛んになる中、運動のビラを配っていた男が廓で暴行される事件が起こる。貫太は無関係だったが、自分がやったこととして警察に出頭する。警察や軍部が遊廓は必要だと考えていたこともあり、事件はうやむやのうちに処理され、貫太は釈放される。勾留されている間に、お銀は若狭から5人の女性を雇い入れていた。貫太は廓内での人望を上げ、店を拡大してゆく。

店の看板だった菊奴は妊娠していることがわかり、絶望して川に身を投げる。前借金はまだ残っていた。遺骨を引き取りに来た母親が言うには、前借金110円のうち、女衒（仲介業者）などに40円引かれ、残りも借金の返済や父親の入院費などに消え、ほとんど残っていない。貫太は母親に20円を渡し、まだ16歳の妹を店で預かること、2年で借金を返済できなければ18歳になった妹を女郎にすることを約束させる。

1931年（昭和6年）、貫太は数軒の店を持ち、京都府の業者団体代表を務め、名実ともに廓の大親分になっていた。折から公娼廃止の世論が高まっており、貫太は上京して吉原遊廓の代表と打合せ、代議士の買収工作を行う。

貫太の子、俊太は三高を経て東京帝国大学に進学する。実家の家業を恥じて苦悩する一方、左翼思想に関心を持つ。左翼活動をする友人に金を貸したことで特高警察に検挙されてしまう。

太平洋戦争中の1942年秋、貫太の弟分、辰太郎は芸娼妓や女給上がりの女たちを連れてトラック島に渡る。日本軍向けの慰安所を開設するためである。やがてトラック島も米軍の空襲を受けるようになり、女たちを帰国させてくれるよう、辰太郎は将校に交渉するが相手にされない。司令官も逃亡したと聞いた辰太郎は女たちを見捨てて船で島を脱出する。その直後、慰安所は空襲で炎上し、残っていた女たちは防空壕に避難するが、日本兵の機銃掃射によって虐殺される。

終戦後、占領軍の指令により遊廓は廃止されるが、貸席と名を変え、営業を続けていた。貫太は病気となりやがて息を引取る。遺産は貫銀楼だけだった。子の俊太は戦争中に失業し、妻子とともに実家に戻っていた。共産党員であることから、就職もうまくいかない。俊太は店を処分して廓外に出て行こうとするが、営業権の切れた店ではいくらにもならない。ある日、松島遊廓出身の男から、同じ戸籍の者なら警察に掛け合えば営業権を引き継げるはずだと聞かされる。俊太は生活のため、父の家業を継ぐことにする。

俊太はかつて父が世話をした楼主の助力で姫路から3人の女を集め、貫銀楼を再開する。戦後は店と女で稼ぎを折半することになっていた。

経営は苦しく、3年後に税の滞納から店の差押えを受ける。これを機に、俊太は廃業し下宿屋への転業を決意する。これまで書いてきた小説もいくらか売れるようになってきた。

それから1年ほど経ち、近くの小学校で選挙の演説会が開かれる。俊太は応援演説を申し出て、聴衆の前に立つ。実家の女郎屋稼業を恥じていたにもかかわらず、生活のためと言い訳をして3年間同じ稼業をしてきたことを告白し、再起を誓うのだった。