トールキンがのちに『シルマリルの物語』となる物語を書き始めたのは1914年のことで、イギリス（イングランド）人の歴史と文化の起源を説明する、イギリスの神話を創り出すためだった。このころの物語の多くが、第一次世界大戦中、イギリス軍の士官だったトールキンが病でイギリスに帰還し、病院で療養しているときに書かれた。1916年の後半、彼は最初の物語である『ゴンドリンの陥落』を完成させた。

トールキンはこのときに書いた最初の物語群を"The Book of Lost Tales"（失われた物語の書）と名付けた。この名前はのちに『中つ国の歴史（英語版）（The History of Middle-earth）』の第1巻と第2巻のタイトルに使われ、この2巻はこの頃のテキストを収録している。『失われた物語の書』は、エリオル（Eriol, のちのバージョンでは、Ælfwine（エルフウィネ）というアングロ・サクソン人））という名の水夫によって語られる。彼はエルフの住む島、トル・エレッセア（Tol Eressëa）を見つけ、そこでエルフから彼らの歴史を教えられたという設定である。しかし、トールキンはこの作品を完成させることはなく、途中で放置して韻文作品「レイシアンの歌」（"The Lay of Leithian"）と「フーリンの子どもたちの歌」（"The Lay of the Children of Húrin"）の制作に取り掛かった 。

『シルマリルリオン』が初めて完成した形で現れるのは、1926年の「神話の素描（"Sketch of the Mythology"）」においてである（これはのちに『中つ国の歴史』第4巻として公刊された）。「素描」はわずか28ページの要約で、トゥーリンの物語の背景設定を友人R. W. レイノルズに説明するために書かれた。なお、レイノルズには他にもいくつかの物語を書き送っていた。「素描」のあと、トールキンはこれより長いバージョンである『クウェンタ・ノルドリンワ（Quenta Noldorinwa）』を書き上げた（こちらも第4巻に収録されている）。『クウェンタ・ノルドリンワ』は、彼が完成させた『シルマリルリオン』の最後のバージョンである。

1937年、『ホビットの冒険』の成功に促され、トールキンはジョージ・アレン・アンド・アンウィン社に『クウェンタ・シルマリルリオン』という名を付けた『シルマリルリオン』の草稿を送った。これは未完成だったものの、以前のものよりさらに発展したバージョンだった。しかし、出版社はこの作品を不明瞭で「ケルト色が強すぎる」として出版を拒否し、代わりに『ホビット』の続編を書くことをトールキンに依頼した。彼は『シルマリルリオン』の改訂作業を始めたが、すぐに続編の執筆に移り、これが後に『指輪物語』になった。『指輪物語』が完成したあとも彼は『シルマリルの物語』の書き直し作業を続け、この2作を同時に出版することを強く希望するようになった。しかしそれが叶わないことが明らかになると、『指輪物語』の出版のための作業に集中した。その過程で『シルマリルリオン』は、『ホビット』の主人公であるビルボ・バギンズが晩年にエルフの史料を収集し編集されたものが後世に伝わったものという構想を練り上げるに至った。

1950年代後半、トールキンは『シルマリルリオン』に立ち戻った。しかし、この時期の執筆作業は、物語自体よりも作品の神学的、哲学的裏付けに関するものが多かった。この頃には、彼は最初期の段階に遡る、作品の根本的な部分に対して疑問を感じており、『シルマリルの物語』の「最終版」を完成させる前に、それらの問題を解決しておく必要を感じていたようである。アルダにおける悪の性質、オークの起源、エルフの習慣、エルフの再生（Elvish rebirth）の方法と性質、太陽と月の説話と「平たい」世界などの幅広いトピックがこの時期に書かれた。これ以降は、トールキンは若干の例外を除いて物語にほとんど変更を加えなかった。

トールキンの死の数年後、息子のクリストファー・トールキンは『シルマリルリオン』の物語の編集作業に着手した。彼は可能な限り晩年に書かれた遺稿を使用し、作品に一貫性を（加えて『指輪物語』との一貫性も）持たせようとしたようだが、一方で完璧な一貫性を持たせるのは不可能だったと後に認めている。『中つ国の歴史』で説明されているように、彼は膨大な量の草稿の中からできる限り『指輪物語』の後に書かれたものに依拠しようとしたが、結局、トールキンが意図したものの結局書かれなかった箇所については1917年の『失われた物語の書』にさかのぼって間を埋めることになった。たとえば、『クウェンタ・シルマリルリオン』後半の章である「ドリアスの滅亡のこと」（第22章）は、1930年代初期に最後に手を付けたまま放置されており、クリストファーは断片から物語を創りださなければならなかった。最終的にできあがったものは、系図や地図、索引、初出のエルフ語の単語集を付けられ、1977年に出版された。

（『中つ国の歴史』で明らかにされた）出版に至るまでについての経緯が問題となり、『シルマリルの物語』の大部分は読者の議論の的になってきた。クリストファーが直面した問題が非常に困難なものだったということは、一般に受け入れられている。トールキンが死去したときの原稿の状態は、とても錯綜していたからである。重要なテキストのいくつかはすでにトールキン家の所有ではなくなっており、クリストファーは様々な資料を渉猟しなければならなかった。『中つ国の歴史』の後半の巻で、出版されたバージョンとは異なる様々なアイデアがトールキンの遺稿に存在することが明らかになった。もしもっと時間があってすべてのテキストに触れることができたなら、出版された作品はもっと違ったものになっていただろうと彼はのちに述べている。しかし、彼はできるだけ早く出版可能なものを生み出すよう、出版社や読者からの圧力と要求に晒されていたのである。読者の中には、『シルマリルの物語』は父の作品というより息子の作品だと主張するものがおり、いくつかの文学サークルではこの作品の「中つ国の正典」における立ち位置が熱心に議論されている。

1996年10月、クリストファーはカナダのイラストレーターのテッド・ネイスミス（英語版）に『シルマリルの物語』の全ページフルカラーのアートワークの制作を依頼した。それが収録されたバージョン（イラストレイテッド・エディション）は1998年に出版された。このイラスト版は、2004年にネイスミスのイラストをさらに追加し、いくつかの修正を施した第2版が出版された。

1980年代から1990年代にかけて、クリストファーは父の中つ国に関する遺稿のほとんどを『中つ国の歴史』12巻として公刊した。『指輪物語』の初期の草稿に加え、このシリーズは『シルマリルの物語』として出版された物語のもととなった素材を大量に含んでおり、『シルマリルの物語』と異なっているものが多くある。さらに、『中つ国の歴史』は『シルマリルリオン』の後期のバージョンがどのような状態で未完に終わったかを明らかにしている。『失われた物語の書』のときに書かれたきり、二度と書き直されることのなかった部分がいくつも存在するのである。

『シルマリルの物語』は複雑で、様々な作品の影響を受けている。強く影響を与えた作品はフィンランドの叙事詩『カレワラ』であり、特にそのなかのクッレルヴォの物語である。ギリシア神話からの影響も明らかであり、たとえばヌーメノールの島はアトランティスから来ている。トールキンは「アトランティス」という名称自体も借用しており、ヌーメノールのエルフ語名は「アタランテ（Atalantë）」である。これは、現実世界の歴史や神話を発展させて自らの神話体系を作り出す、という彼のアイデアから来ている。

ギリシア神話はヴァラールにも影響を与えており、ヴァラールはオリュンポスの神々から多くの要素を得ている。ヴァラールは、オリュンポス神と同じく地上で暮らしているが高い山に住んでおり、人間から隔絶されている。しかし、一致する点あくまでおおよその特徴のみである。ヴァラールは北欧神話の要素も持っており、ヴァラールのいくつかはアスガルドの神々であるアース神族に類似している。たとえば、肉体的に最強の神であるトールやテュールは、同じく肉体的にヴァラール最強のトゥルカスやメルコールの怪物と戦うオロメと比べることができる。ヴァラールの長マンウェは、「すべての父」オーディンと似た特徴を持っている。トールキンはガンダルフを「オーディン的放浪者」とみなしていると発言している。

聖書とキリスト教文学の伝統の影響も『シルマリルの物語』の中に見られる。メルコールとイルーヴァタールの対立はルキフェルと神のそれのパラレルになっている。さらに、エルフの形成と没落は創世記の人類の形成と没落を想起させる。トールキンの他の作品と同様、『シルマリルの物語』はのちのキリスト教の歴史につながる余地を残しており、彼の遺稿の一つでは、『シルマリルの物語』の登場人物の一人であるフィンロドは最終的にエル（神）の化身となり人類を救う存在として描かれている。

宇宙の創造を神と天使による歌声（しかしのちに堕天使によって不調和が生じる）としている点に、中世キリスト教の宇宙観の影響が顕著に見られる。アウグスティヌスの音楽に関する著作は、中世に発展した神聖な調和の理論（現代の我々には「天球の音楽」として馴染み深い）とともに、この創世物語の基礎となっている。

ケルト神話の影響は、たとえばノルドール・エルフの追放に見られる。これはアイルランドのトゥアハ・デ・ダナーンの伝説から要素を借用している。ウェールズの影響はエルフ語の一つ、シンダール語に見られる。この言語は「ブリテン島のウェールズ語に（同じではないが）非常に近い特徴を有しているが、これは（シンダール語の）話者について語られる、伝説や物語に見られるケルト性がそれによく合っているからである。」