ホームズと知り合い、個人的によく訪れるようになったレストレード警部が、ある事件について話した。最近、ロンドンでナポレオン・ボナパルトの石膏胸像が、連続して壊されているというのだ。1つめの胸像は、ケニントン・ロードのモース・ハドソン画商店に陳列してあったものが、店員が目を離している隙に壊された。店員はすぐ外に出たが、犯人の姿は見なかった。2つめの胸像は、ハドソンの店から胸像を買ったバーニコット医師の自宅兼本院から、夜のあいだに屋外に持ち出されてこなごなに壊された。3つめの胸像は、同じバーニコット医師の分院のほうで、置かれているその場で壊されていた。レストレード警部は、ナポレオンを憎む偏執狂の仕業ではないかと想像した。だがホームズは、この事件の話を聞いて興味を持つ。

その翌日、ピット街の新聞記者ホレス・ハーカーの家から4つめのナポレオン像が盗み出され、更には同家の玄関先で男が殺されているのが発見された。死体は喉を切られていて、ロンドン地図と別の男の写真を持っていたが、身元を示すものは何も無かった。犯人が盗み出した胸像は、現場からやや離れた空き家の庭先で、こなごなに砕かれていた。ホームズは、もっと近くにも空き家があったのに、わざわざ遠くの空き家まで運ばれている理由を指摘した。それは、街灯の明かりの有無だというのだ。ただ、殺人を犯してまでも、ほとんど価値の無い胸像を盗みだした理由は不明だった。やがて、これまで壊された4つの胸像は、ゲルダー商会という製造所で6つ一組として作られていたことがわかった。犯人は、同じナポレオン像なのに、他の組として作られたものには手をつけていなかった。死体の身元は、ナポリ出身のピエトロ・ベヌッチという、殺人もいとわない悪党であることも判明した。残り2つのナポレオン像がある場所に必ず犯人が現れる、と予想したホームズ、ワトスン、レストレード警部の3人は、そのうちの1つを入手した家の前で張り込みをした。

ときは夜の11時。その家の住人はみんな寝ているようで、部屋はまっくらだった。やがて黒い人影が庭を横切り家に近づいた。静かに窓を開ける音が聞こえた後、白い物を抱えた犯人が出てきた。犯人は明るいところに来てから、盗み出したナポレオン像を砕いた。作業に夢中になっているその背中へ、ホームズが飛び掛かりレストレード警部が手錠を掛けた。捕らえたのは写真に写っていた男だ。ホームズは胸像の破片を注意深く調べたが、変わったところはないようだ。やがて家に明かりがつき、主人が出てきた。彼は「手紙で指示されたとおり、静かにして何か起きるのを待っていました」と言った。犯人のポケットには小銭と、最近の血の跡が付いたナイフが入っていた。逮捕した男は、イタリア人のベッポというやくざ者ということがわかった。胸像を砕いた理由については完全黙秘していた。ゲルダー商会で胸像を作ったことがあるので、壊したのはベッポの手がけた胸像かもしれない、と警察では考えていた。

次の日の夜、ホームズの元を一人の男が訪れた。男はホームズが送った「ナポレオン像を10ポンドで譲ってほしい」との手紙に応じて来たのだった。たった15シリングで買った胸像なのに、本当に10ポンドでいいのかと問う男。ホームズは、10ポンド札と譲渡契約書を差し出しサインを求めた。男は胸像を置いて帰っていった。ホームズはテーブルの上に胸像を置くと、狩猟用の鞭を振り下ろしてこなごなに砕いた。その破片をじっと調べていたホームズは、大声で「これがボルジアの黒真珠だ」と言った。それはコロンナ卿の寝室から盗まれたのだが、ロンドン警視庁もホームズも事件を解決できなかったのだ。コロンナ卿のメイドのイタリア人が疑われたが、証拠はなかった。メイドの名前はウクレディア・ベヌッチといい、ロンドンには兄がいたようだが繋がりはつかめなかった。ホームズは、メイドの兄は殺されたピエトロ・ベヌッチだと確信していた。そして過去の新聞を調べて、真珠がなくなったのは、ベッポが傷害事件で逮捕される２日前だったことも分かった。盗んだ犯人は、メイドなのかピエトロ・ベヌッチなのかは不明だが、そのあとでベッポが真珠を持っていたのは確実だ。警察に追われているベッポは、身体検査をされる前に真珠を隠さなければならない。

ゲルダー商会で仕事をしていたベッポは、胸像に隠すことを考えた。そこで生乾きだったナポレオン像の一つに真珠を埋め込んだ。そのあと傷害事件で逮捕されたベッポは、一年間のあいだ刑務所に入れられた。ベッポが出所してきたときには、すでにナポレオン像は売られていた。6つの胸像のどれに隠したのかは分からない。そこで販売先を調べて、一つづつ盗み出していた。ピエトロ・ベヌッチも真珠の隠し場所に気づいて、ホレス・ハーカーの家から盗もうしたときベッポと鉢合わせして殺されたのだ。残っている2つの胸像のうち、近いところの家にあるのを盗むと予想したホームズが、張り込みしてベッポを逮捕したのは当然の結果だった。事件を解決したホームズに対してレストレード警部は、こんなにあざやかに解決するところを見たのは初めてで、ロンドン警視庁の誰もが称賛するでしょうと言った。