東京オリンピックを間近に控えた1960年代前半の東京を主な舞台として、モダン・ジャズに傾倒する主人公「僕」の青春が一人称で綴られる。

タイトルはベニー・ゴルソンの「ファイブ・スポット・アフター・ダーク」をもじったもの。ありんことは、当時渋谷の百軒店に実在したモダン・ジャズ喫茶の名前である。この他、オスカー、デュエット、新宿の汀、キーヨなど、当時実在した店が実名で登場する。

作中の年代や登場人物の年齢について具体的に言及される場面は少ないが、東京オリンピックが開催される年（1964年）の1月に「僕」は20歳の誕生日を迎えている。第1章は「僕」が高校3年生の11月なので1961年、時系列的には最後の出来事である序章は、第1章からちょうど4年後なので1965年11月である。

高校3年生の秋、「僕」は学校のクラブで一緒にバンドをやっている浅井とモダン・ジャズ喫茶「ありんこ」で待ち合わせることになった。浅井は大学に行かず、モダン・ジャズのバンドで食っていこうと考え、「僕」にメンバーを探してほしいと言う。同じ気持ちだった「僕」はメンバー探しを始め、また、ありんこを中心として渋谷のモダン・ジャズ喫茶に出入りするようになっていった。

1962年。「僕」は免許を取って中古の車を買った。バンドも活動を始め、一方でダイヤモンド密輸の話やハイミナール、ヤクザとのトラブル、おかまとの付き合い、ナンパ……と、様々なことを経験してゆく。

1963年の夏。ベースの市毛と「僕」の間に気持ちのすれ違いが生じ始める。9月にピアノの美鈴が脱退を申し出、市毛も顔を見せなくなっていった。2カ月後、芸大の芸術祭での演奏を最後に、「僕」はバンドの解散を決意する。一方で、同級生のワダケンが、ハイミナール中毒の「僕」との付き合いを親に知られたことが原因で東京を離れなければならなくなり、京都に旅立っていった。「僕」はワダケンとの再会を考えて京都に向かうが、具体的な根拠もないのに行っても会えるはずがなく、東京に戻ることになった。

1966年1月。20歳になった「僕」は、高校時代からの音楽仲間だった伊東京子が妊娠していることを知る。京子は子供を堕すことになり、「僕」は京子と離れることにした。その夜、ウイスキーと一緒にハイミナールを飲んだ「僕」は衝動的に運転を始め、事故を起こしてしまう。「僕」はハイミナールを断つことを決意し、入院した。しかし翌日、「僕」は病院内の環境に耐えられず、また、その日の夜に約束があったことを思い出し、院長に直談判して退院を要求する。院長は「僕」の意思の強さに押され、1週間の外出禁止を条件に退院を認めた。その帰り道、「僕」は渋谷に立ち寄って約束を果たすのだった。

それから1週間、院長との約束を守って外出しなかった「僕」は、ハイミナールの禁断症状もなく回復したものの、新しい目的を見出せずにいた。3カ月後、なんとなくありんこに向かった「僕」だったが、3カ月の間に客の顔ぶれはすっかり変わっていた。「僕」はその場の雰囲気に耐えきれず、店を出てしまう。外を歩いていると、浅井が「僕」の前に現れた。いまだハイミナールをやめていない浅井の姿に以前の自分を重ねて見た「僕」は浅井を殴ってでもハイミナールをやめさせようとするが、自分が警官に取り押さえられてしまう。そして浅井は「僕」の前から走り去っていった。

1965年11月。久しぶりに渋谷に向かった「僕」は、かつてありんこの常連だった酒井と再会し、ありんこのママが亡くなったことを聞かされる。酒井にありんこに誘われた「僕」だったが、ママを失ったありんこを見ることを拒み、酒井と別れるのだった。

「僕」

主人公。名前は不明。一人称は地の文では「僕」だが、会話文では「俺」。
学校のバンドではスウィング・ジャズをやっているが、本人の好みはモダン・ジャズ。浅井の誘いを受けて、大学に進学せず、バンドで生計を立てることを試みる。
未成年の時から喫煙し、モダン・ジャズ喫茶に出入りするなどいわゆる不良だが、ヤクザとのトラブルを自らの交渉で切り抜ける、中古とはいえ当時は珍しかった自家用車を購入するなど、行動的。
ダイヤモンド密輸の件では用心して関わるのを避けていたが、大沢に運転手を頼まれて引き受けたことから、結局巻き込まれてしまう。
理沙の件をきっかけに浅井と共にハイミナール中毒になるも、後に自らの意思で立ち直った。
モダン・ジャズに傾倒していること、ドラムを演奏していること、ありんこの常連だったこと、1944年1月生まれであることなど、著者である荒木自身との間に多くの共通点がある。

浅井

「僕」と同じ学校の同学年。学校のバンドでトランペットを演奏しているが、「僕」と同様に、本人の好みはモダン・ジャズ。小児麻痺の後遺症で左手の指が不自由だが、トランペットを支えることはできるので演奏に支障はない。
1964年の春、理沙が結婚したことを「僕」が黙っていたことを責め、ハイミナール中毒のまま「僕」の前から姿を消す。1965年には共産系の新聞社に就職したと語られている。

伊東京子

「僕」の同級生。学校のバンドではボーカルを担当。後に後輩のバンドに加入する。

花村美鈴

花村音楽教室の一人娘。京子の紹介で、「僕」のバンドでピアノを弾くことになる。

沖

アルトサックスのプレイヤー。「僕」の同級生・杉田の紹介でバンドに加入する。1965年には弱電関係の会社に就職した。

市毛

オスカーで「僕」の足につまずいた男。実はベーシストで、浅井とは中学校の同級生だったことから、浅井に誘われてバンドに加入する。弟の足を洗わせたがっている。1965年には弟と共に料理屋を始めた。

酒井

ありんこの常連。モダン・ジャズのプレイヤーの演奏を暗記し、それをレコードに合わせて唄うという特技がある。オスカーを邪道だと言い、オスカーには決して足を向けない。1965年、偶然再会した「僕」にママが亡くなったことを伝える。

大沢

ありんこの常連。たびたび物騒なことに手を伸ばしており、「僕」たちにダイヤモンド密輸の話を持ちかけてくる。バンドの初仕事のパーティーでは用心棒を頼まれるも、ヤクザとのトラブルを避けて逃げてしまう。

ゴリ

「僕」と初対面の時は広瀬圭一と名乗っていたが、本名はタケシ（表記は不明）で、圭一は兄の名。「僕」や浅井とは仲が良いが、彼等がハイミナールに手を出していることを好ましく思っていない。

市毛の弟

日本興業のヤクザ。

江田

市毛の弟と共に行動していた男。ゴリのことでたびたび「僕」に忠告する。

竜二

ありんこの常連。ダイヤモンド密輸の情報を持ってきた。

柴崎

ありんこの常連。バーテンと呼ばれているが、服装がバーテンダーのようだというだけで、本職のバーテンではない。

哲っちゃん

竜二の兄。

中村理沙

浅井が惚れた女子高生。ハイミナール中毒になっており、浅井は「僕」と共にやめさせようと考えるが、それが自分たちがハイミナール中毒になるきっかけになってしまう。本人は浅井の説得を受けて入院し、中毒を脱してプロゴルファーと結婚することになった。その後子供を授かったが、再びハイミナールに手を出して家を出てしまう。その後、「僕」に中身のない封筒のみの手紙を送り付けた。それ以降、「僕」は彼女の消息を知らない。

ワダケン

僕の同級生。中華料理屋の次男。

ありんこのママ

肺を病んでいたが、ずっと店に出続けていた。浅井はそれが夢だったんだろうと語っている。

ありんこのマスター