中年を迎え、悲嘆の感情に支配された国際的な作家「僕」の一人称視点で、奇妙な人物たちとのいきさつが描かれる。本作は危機に瀕した現代社会に生きる男女の、滑稽なところもあるが物哀しい（時には陰惨な）生き死にを描いた物語である。

「僕」はハワイで行われた文学シンポジウムに参加した（注:大江は実際に1977年にハワイ大学の東西文化研究所で開かれたセミナー「文学における東西文化の出会い」に参加している）。迎賓のパーティーが民間の精神療養施設で行われた。そこで「僕」はアガーテという女性から庭に立つ「雨の木」を教えてもらう。パーティーは施設の収容者によって開催されていたことが判明する。アガーテも施設の患者であった。

大学時代の旧友の英文学者くずれで虚言癖がある高安カッチャンが、ハワイ滞在中の「僕」を訪ねてくる。重度のアルコール依存で独特のパーソナリティの高安に「僕」は散々に振り回される。帰国後に「僕」は高安の妻の中国系アメリカ人のペネロープ・シャオ=リン・リー（ペニー）から手紙を受け取る。一通目の手紙で、アルコール依存の高安の再生のために、高安の構想をもとにした小説の合作を依頼される。二通目の手紙で高安がアルコール依存の果てに事故死したことを伝えられる。

「僕」が数年前メキシコの大学で教鞭をとっていたときにアシスタントをしてくれた日本文学研究者のカルロス・ネルヴォが末期癌であると知らされる。知らせに悄然としながらも「僕」はメキシコ時代を回想する（注:大江は1976年、メキシコの国立大学コレヒオ・デ・メヒコで客員講師をつとめている）。カルロスの奇態な人物像、エキゾチックな異国の街での出来事が語られる。帰国の際の送別会の挨拶でカルロスは、自分が病気で痛みに苦しむことになった時は自殺をするのでその手伝いをして欲しいと述べていた。

「僕」は日系人の主宰する反核集会に参加するために再びハワイに出向くが、集会は中止となる。ペニーが「僕」を訪ねてきて高安について話し、成り行きで性交する。帰国後ペニーから手紙が届く。同封された写真には精神病院の火災で焼失した「雨の木」の前に立つペニーとアガーテが写っていた。手紙でペニーは核の大火による先進各国の破滅は避けがたいと述べる。そして彼女とアガーテは大火後の「原水爆荷物カルト運動」に身を投じるためメラネシアに出向くという。

「僕」が東京で通っているプールの常連の学生玉利くんはプールのサウナで、やはり常連のOL猪之口さんから性的な挑発を受けている。ある日猪之口さんが強姦されて殺害される。「僕」と同窓の高校の英語教師が犯人で、彼は犯行後すぐに自殺しているが、玉利くんが事件に関与している可能性を「僕」は想像する。

「「雨の木」というのは、夜なかに驟雨があると、翌日は昼すぎまでその茂りの全体から滴をしたたらせて、雨を降らせるようだから。他の木はすぐ乾いてしまうのに、指の腹くらいの小さい葉をびっしりとつけているので、その葉に水滴をためこんでいられるのよ。頭がいい木でしょう」と登場人物の一人の女性アガーテは説明する。

狂気、悲嘆、孤独、死、暴力などに満ちた荒涼とした物語世界で「雨の木」はある場合には現実の木、別の時には宇宙樹など様々な姿をとって現れる。作中において「雨の木」とは「暗喩」であると繰り返される。総合的には「雨の木」は肯定的な、宇宙的な再生にかかわる「暗喩」であるようだが、物語の始まりに「僕」がハワイで出会った現実の木である「雨の木」は連作の終盤に火災で消失する。

作曲家の武満徹は、この連作集の第一作「頭のいい「雨の木」」に触発され、打楽器アンサンブル曲「雨の樹」を作曲した。第二作「「雨の木」を聴く女たち」は、この曲の初演を受けて執筆されており、武満徹は小説中では「作曲家のTさん」と称され、コンサートの場面が出てくる。小説では「調律されたトライアングルの音から始まり」と記されているが、これは実際はトライアングルではなくアンティークシンバルの音である。漢字が木から樹に変わった理由は、小説内にも紹介されているが、武満が以前作曲した初のオーケストラ作品『樹の曲』と、その頃に生まれた「眞樹」という娘の名前に由来する。また武満は後に関連曲として、ピアノ曲「雨の樹 素描」、「雨の樹 素描II オリヴィエ・メシアンの追憶に」も作曲している。

• 短編集『僕が本当に若かった頃』に収録された短編「宇宙大の「雨の木（レイン・ツリー）」」にはドイツ・フランクフルトで開催された国際ブックフェアに参加した作家をアガーテとペニーが訪ねてくるエピソードが描かれている。

• 長編『燃えあがる緑の木』には高安カッチャンの息子で作曲家のザッカリー・K・高安が登場する。（ザッカリー・K・高安については本作中の「さかさまにたつ「雨の木（レイン・ツリー）」でも語られている。）

• 短編集『いかに木を殺すか』に収録された短編「メヒコの大抜け穴」でカルロス・ネルヴォとのエピソードが語られる。

作品発表時の時評には主として以下のものがある。

• 後藤明生・川村二郎「観念と感情ー対談時評（大江健三郎『「雨の木」を聴く女たち』」『文學界』1981年12月号
• 大岡信「暴力と犠牲死の彼方の木・大江健三郎『「雨の木」を聴く女たち』』」『波』1982年8月号
• 大庭みな子「『雨の木』の下で 『「雨の木」を聴く女たち』大江健三郎」『群像』1982年9月号
• 三浦雅士「宇宙樹木の行方 大江健三郎『「雨の木」を聴く女たち』」『群像』1982年9月号