作者と同様のプロフィールを持つ作家<私>が、東京郊外のマンションで起こる怪異に迫っていくホラー作品。実在の作家の平山夢明や福澤徹三が物語の登場人物になるなど、モキュメンタリーを連想させる作劇となっているが、これは作者の小野が全作視聴するほどのファンであるホラー・フェイクドキュメンタリーシリーズ『ほんとにあった! 呪いのビデオ』の影響であるという。

単行本は、2012年7月20日に新潮社より書き下ろしで刊行された。文庫版は、2015年8月1日に新潮文庫より刊行された。装丁は、単行本が祖父江慎+鯉沼恵一（cozfish）による。装画は、単行本が司修、文庫版が町田尚子による。

2012年、「ダ・ヴィンチ BOOK OF THE YEAR 2012」（小説ランキング50）第8位。「ミステリが読みたい! 2013年版」（国内部門）第10位。2013年、第26回山本周五郎賞を受賞。『ダ・ヴィンチ』の「怪談オブザイヤー」で第1位。

2016年1月より映画化作品『残穢 -住んではいけない部屋-』が公開。

京都市で暮らす〈私〉の生業は小説家である。執筆分野は大人向け小説が中心だが、嘗ては少女向けにライトノベルやホラー小説を執筆しており、そのあとがきで読者に「怖い話」の募集を呼び掛けていた。その縁で、嘗ての読者から「怖い話」を実体験として相談されることがある。

2001年末（映画では2012年5月）、嘗ての読者で「岡谷マンション」の204号室に住む30代の女性・久保から1通の手紙が届く。手紙によると、久保がリビングでライターの仕事をしていると背後の開けっ放しの寝室から「畳を掃くような音」がするのだという。更には、翌年に久保から改めて電子メールが届く。相変わらず寝室から右に左に畳を擦るような音が続いたため、振り返ってみると着物の帯のような平たい布が目に入ったという。その話に〈私〉は奇妙な既視感を覚える。同じ頃、転居・同業者の夫との同居を控えていた〈私〉は荷物の整理をする内に、屋嶋という女性から1999年7月に受け取った手紙を目に留める。既視感の正体はこれだったと気づく。屋嶋も自宅マンションである401号室の寝室から時折聞こえる何かが床を掃くような音に悩まされていた。久保と屋嶋の住所は部屋こそ違えど同じマンションだったため、〈私〉は彼女らが遭遇しているのは同じものなのではないだろうかと考える。

久保と屋嶋の話を合わせる内に〈私〉の脳裏には「和服姿の女性が縊死し、その折に解けて乱れた帯が床を擦っている」というイメージが浮かぶ。久保は、その帯がいわゆる金襴緞子の帯ではないかと言う。久保は不動産業者や図書館などで調べるが、「岡谷マンション」で過去に自殺者が出たというような情報は得られない。そんな中、久保は204号室の前住者・梶川亮の不幸な出来事を知る。彼は精神を病んで「岡谷マンション」を退去し、職を辞した後に新居のアパートで首を吊って自殺していた。久保と〈私〉は「岡谷マンション」が建つ土地が「いわくつき」だったのではないかと考える。久保は「岡谷マンション」が建っている土地やその周辺のいわくを調べるため、周辺の住人への聞き取りを始める。

地元住民の1人である益子香奈恵の証言によれば、マンションが建つ前は駐車場で、更に遡ると数軒の一戸建て住宅が建っていたという。しかし、バブル期の地上げで軒並み転居した。最後まで残っていた小井戸家は近所でも有名なゴミ屋敷で、住人の男性は最終的に孤独死したと語る。そんな中、〈私〉は1999年当時に「岡谷マンション」の401号に住んでいた屋嶋から電話を貰い、部屋で遭遇した怪奇現象を聞かされる。彼女が401号室に入居したのは1999年3月だったが、最初から部屋には憂鬱な気が漂っていたという。当時2歳になる娘・美都は、和室の天井のあたりを意味もなく凝視し「ぶらんこ」とつぶやき、屋嶋自身も何かを掃くような音に悩まされていた。1999年7月頃、美都がぬいぐるみ「みふぃ」の首に紐をかけ、それを揺らして「ぶらんこ」と言いながら遊んでいたのに仰天し叱ったという。それらの現象に戸惑った末、彼女は〈私〉に手紙で訴えたのだった。霊感のない夫共々に寝床の周囲を赤ん坊がはい回るような音に悩まされ、最初の頃は無邪気に笑っていた娘も徐々に怯えるようになったため、たまりかねてその年の10月にマンションを引き払ったと語る。

端緒の「岡谷マンション」と同じ土地で近隣にある団地「岡谷団地」には、何故か住人が居着かない家がある。最初の住人に因んで「黒石邸」と呼ぶ家の現在の住人・鈴木も〈私〉に奇怪な出来事を語る。ある日、台所で洗い物をしていた彼女は背後に何かの気配を感じる。蛇口の表面を見ると、髪の長い女が彼女の手許を肩越しに覗き込んでいるのが映りこんでいたという。後でよくよく思い返してみると割と長身の鈴木の肩越しだと背後に立っていたにしては女性の位置がかなり高く不自然だということに気づく。屋嶋からマンションでの体験を聞かされた鈴木は、蛇口に映っていた女は首を吊ってぶら下がっていたのだと考える。最初はからかってもいた夫も幾度となく怪異に苛まれて嫌がるようになり、夫婦揃って耐え切れなくなって退去した。

2003年、〈私〉と久保は地域の町内会長だった老人・秋山から高度経済成長期における地域の情報、特に「ゴミ屋敷」として名高い小井戸家の情報を得る。秋山の証言によれば、小井戸家の住人・泰志は定職にも就かず戦争未亡人の母・照代と長年2人暮らしだったという。1980年頃に母親が死去した後に泰志はゴミを溜め込んだため、近隣住人は悪臭に悩むようになった。1990年7月に秋山らが町内会として訪ねたところ、泰志はゴミの山の中に敷かれた布団の上で死亡しているのが発見されたという。

地元の神社の世話役・田之倉は、小井戸家が建つ以前の地域の様子を語る。彼の話によれば、戦後間もない頃は付近一帯は鋳物工場だったが、火災で全焼し、その跡地に高野という裕福な一家が家を構えていた。しかし、1955年頃、高野家の夫人・トシヱが末娘・礼子の結婚式の直後に礼装の黒紋付き姿で帯締めを鴨居にかけ、首を吊って自殺したという。妻を喪った高野氏はこの地を去り、その後に建ったのが小井戸家とのことだ。その話を聞いた久保は、自身が「岡谷マンション」の部屋で見た金襴の帯はトシヱの自殺した姿だったと確信する。

2005年、〈私〉と久保は高野トシヱの友人だった日下部清子を取材する。彼女の話によれば、トシヱの末娘だった礼子は「進歩的な女性」で、男女交際が憚られる時代ながら男友達も多かったという。高校卒業後に都内で勤務していた礼子だったが、ほどなく帰郷、お見合いの末に結婚を目前としていた。そんなある夜、トシヱと外を歩いていた清子はトシヱから「赤ん坊の泣き声がしないか」と訴えられた。昔患った病気の所為で耳が少し遠かった清子には聞こえなかったが、トシヱは「何軒もの家で赤ん坊を泣かせて私たちをからかい面白がっているのだ」などとまくし立て、赤ん坊の声を異常に恐れていた。疑心暗鬼に陥ったトシヱに辟易してうっかり「私には聞こえないんだけどね」と口を滑らせてしまい、攻撃する連中の仲間かと誤解されかけ冷たい視線を向けられたこともあったという。やがて礼子が嫁入りする日が迫り、清子は娘の千香と2人で「結婚祝い」のため高野家を訪れる。その折、確かに部屋から湧きあがるような赤ん坊の声が響き、清子と千香も「赤ん坊の声」に納得せざるを得なかった。娘の結婚式の際、赤ん坊の声が聞こえて親戚連中まで嫌がらせを始めたのかと激昂したトシヱは帰宅してすぐ首を吊ってしまう。清子らは当時を思い出しながら、礼子は東京で不純交際の末に妊娠し、堕胎したのではないかと推理する。

話を聞いた〈私〉と久保は、トシヱは娘の妊娠、そして堕胎による羞恥心と罪悪感に耐えきれず、更には「赤ん坊の泣き声」からノイローゼとなり発作的に縊死したのではないか考える。しかし、〈私〉は清子や千香の話を詳細に考察し、赤ん坊の声は「礼子の子」のみではなく複数だったのではないかと思いつく。久保は考えすぎではないかと言うが、懐疑的な〈私〉は複数の赤ん坊の声という考えを捨てられなかった。地域住人である辻の述懐によれば、高野家が建築される前に当地には植竹工業という鋳物工場があったが、戦後まもなく失火で全焼したという。植竹工場の周辺には工員の住居として長屋が立ち並んでいたが、その長屋にも幽霊話が取沙汰されており、他の地域の子供らは長屋で遊ぶのを避けていた。元工員の証言では、実際に工場で死亡事故が発生していた。また、2006年の秋に友人の〈ハマさん〉から〈私〉に情報が寄せられ、工場の長屋に住んでいた女性・中村美佐緒は貞操観念が薄く、妊娠・出産の度に嬰児殺しを繰り返していた。工場の焼失後も転居先でなおも続け、新聞沙汰になったという。〈私〉は、トシヱが耳にして脅えた赤ん坊の声とは、美佐緒の嬰児たちの声だったのだろうと考える。

2006年末、久保は「岡谷マンション」の401号室の元住人・梶川の終の棲家であるアパートの大家・伊藤から、意外なことを聞かされる。梶川が縊死して1年以上を経た部屋に伊藤の反対を押し切って入居した住人から怪奇現象を訴えられたという。その怪異とは「畳を擦るような音」と「首吊り自殺した着物姿の女性の幽霊」だった。最初の入居者は結局4か月で逃げ出し、翌年の入居者も同様の怪異に見舞われ、今まで女性の入居者は1人もいないこと、自殺したのは男性であること、見ればわかるようにフローリングであること、首を吊ろうにもロープをかける場所自体がないと伊藤が説明するも聞かずに2人目の入居者も3ヶ月でアパートを出て行ってしまう。高野夫人の自殺に端を発する「穢れ」が、梶川によって何の関係もないアパートに伝染してしまったのだ。一方で体調不良に悩んだ久保は「岡谷マンション」からワンルームに転居するのだが、怪音はついて来てしまった。

2007年、〈私〉は独自に「岡谷マンション一帯の土地の記憶」を調べていた怪奇作家・平山と再会する。調査結果によれば、植竹工場が建設される以前の大正時代、その地には資産家・吉兼一族の屋敷があった。しかし、吉兼家の三男・友三郎には精神障害があり、座敷牢に閉じ込められていたという。吉兼一族の菩提寺は近隣に健在だったが、住職・國谷は先代が住職を務めていた1945年、吉兼家の夫人・ハツが寺を訪問して以来、一族は離散・絶縁状態だと語る。寺に残る墓誌や過去帳を探ったところ、吉三郎の継母である吉兼三喜の奇怪な事象を聞かされる。後妻として吉兼家に嫁いだ三喜は、嫁入り道具の中に美人画の掛け軸を携えていた。寺の先々代の住職の備忘録によれば、吉兼家に不幸な出来事があると描かれた女性の顔が禍々しい笑みに歪み、ダンプなどが立てる低周波音域の音に似た地下を吹き抜けるような風の音が聞こえるという。間もなく吉兼家では息子の発狂や死産など不幸が相次ぎ、三喜はその元凶と思われる掛け軸を菩提寺の住職に預けてすぐに若死にしていた。そんな不吉な掛け軸を嫁入り道具に持たせたことに〈私〉は三喜の実家の神経を疑うのだった。

健康上の都合で久保が調査から外れた矢先、存在自体が怪である北九州最強の「奥山怪談」が浮上する。三喜の実家は九州・福岡県にあった、この怪談の元である奥山家だった。地元の郷土研究家・福澤によると、小さいながら炭鉱を経営する奥山家は地域でも有名な資産家だった。しかし、大正の末、奥山家最後の当主・奥山義宜は家族と使用人を皆殺しにした挙げ句に自殺し、一族は断絶した。屋敷の跡地に建った家・真辺家でも不幸が重なり、解体された奥山屋敷の部材を買い取った愛知県の米溪家ではその部材「欄間」から仏間を覗くと地獄が見えると伝えられ、仏間の次の間で寝ると呻き声の混じった何処か遠い地の底で吹いているような風の音が聞こえて金縛りに遭ったり、東京の下宿に怪異がついて行ってしまったのか黒い人影が物騒な言葉を呟くなどと怪奇現象が頻発し、奥山家に関係するものはことごとく呪われた経過を辿ることになるという。奥山家の惨劇が、その後の枝分かれし量産された怪異の震源地だった。〈私〉は、久保が「岡谷マンション」で遭遇した怪異を末端とする一連の連鎖の震源地は奥山家だと考える。

2008年11月、〈私〉と久保、平山や彼と懇意の編集者、そして福澤の5人は嘗て奥山家が存在した敷地に建つ真辺家の廃墟を調査するべく、九州に赴く。

怪奇幻想文学研究家の中島晶也は「本書の怖ろしさは読み終わって本を閉じた後も読者を脅かし続ける」「本書が提示する恐怖は、過去に根差していて古いがゆえに本源的であり普遍的である」と評価している。書評家の朝宮運河は「同時発売の『鬼談百景』とともに著者の〈怪談実話趣味〉が見事に実を結んだ傑作」と評価している。詩人の川口晴美は、「流動民が増え土地の記憶を遡るのが難しくなった現代に、ウイルスに感染するようにして拡散していく恐怖の気配がなまなましい」と評した。

2016年1月30日（土）に『残穢 -住んではいけない部屋-』（ざんえ すんではいけないへや）というタイトルで公開。監督は中村義洋、脚本は鈴木謙一。配給は松竹。第28回東京国際映画祭・コンペティション部門出品作品。

上記のように、原作小説は作者である小野が『ほんとにあった！呪いのビデオ』シリーズから影響を受けて執筆した作品であり、担当編集者の「映画化したいですね」という言葉を聞いた小野が冗談半分に「どうせなら（同シリーズに長年携わっている）中村監督が撮ってくれたらいいね」と返答したことがきっかけとなり、実際に中村が本作の監督を務めることになった。

また、『残穢』と連動するスピンオフ映像作品として『鬼談百景』も映像化された。2015年12月25日より動画サイト・GYAO!にて先行配信、2016年1月23日には東京・テアトル新宿で一夜限定で劇場公開された。

NHK-FM「FMシアター」で2014年1月18日に放送。