企画は東陽一監督。女性映画を得意とする東監督にとって菅原文太は縁のない役者だった。ところが1990年代の初めころ、東が自宅で何気にテレビを観ていたら、菅原が出演していて「いまの日本映画界では、俺たちの仕事をする場所がない」「主な観客は10代から20代で、映画会社は若者層に特化した映画作りに偏り、年寄りの役者はお呼びじゃない」などと日本の映画界を痛烈に批判していた。頭は白髪交じりだったが、顔つきはまだ引き締まって生気がみなぎり、「まだまだ俺はやれるぞ」と訴えているように見えた。それ以来、東はいつか文太さんと仕事をしたいという気持ちを持ち続けていた。東は学年でいえば菅原の1歳下で、大体同世代の映画人の叫びには身がつまされる思いもあった。それから10年近く経ち、書店で筒井の原作を見つけ、立ち読みしていたら、ジュブナイルだろうと思っていた先入観とは違い、少女と老人という普通ではほとんど成り立たない関係が見事に描かれていて興味を持った。これは映画化できると思い立ち、映画化権の取得をプロデューサーに頼んだ。筒井はホリプロに所属していたため、映画化が正式に決まれば、少女役はホリプロが一般公募で探すことが決まった。東は原作を読んだときからグランパ役は菅原しかないと考えていたが、菅原は2001年に長男を亡くし、映画の世界に戻る気をなくしたと聞いていた。通常キャスティングは、プロデューサーか、キャスティング担当が所属事務所にオファーを行うが、東はそれを止めてもらい、自分で脚本を書き、準備稿と原作、先のテレビ出演時の感想などを含めた出演依頼の手紙を書いて菅原本人宛てに送った。菅原は当時飛騨（岐阜県大野郡清見村）に住んでいた。東としては菅原に断られたら次に打つ手はないという状況で、背水の陣で出した手紙だった。数日後、プロデューサーを兼ねていた菅原の妻から「出ます」と返事を貰った。後で筒井も菅原のイメージで小説を書いていたと聞いた。

映画化が正式に決まった後、東は筒井に会った。筒井からは「映画は映画ですから」と脚本に対する注文は一切なかった。

孫娘役の石原さとみ（以下石原）はホリプロでオーディションを行い、東監督が「彼女しかいない」と推して石原を選んだ。東は石原について「天性の才能を持っている。型にはめずに育てていけば、いい女優さんになると思う」と製作時に述べていた。

栃木県足利市で全体の九割が撮影され、菅原文太は約1カ月間、足利市内に泊まり込んだ。北仲通り、渡良瀬川の堤防、旧相生小学校の他、栃木県藤岡町佐野バイパスなど。エンドクレジットでは「栃木県足利市のみなさん」「群馬県太田市のみなさん」と表記される。石原の家（五代家）は古い木造二階建ての一軒家で石原が度々、二階の窓から屋根に降りる。屋根の上に腰掛ける石原を背中ごしに夕景を捉えたり、横から撮ったり4度挿入される絵になる家である。ラスト近くで石原が全速で帰宅し、玄関の扉を開けて、そのまま家の中に入るシーンをカメラが追う。五代家は室内も撮影に使われたのかもしれない。エンドクレジットで日活撮影所の表記も出るため、どこかはセット撮影と見られる。菅原が国鉄211系で、若い娘のスカートを切った男を取り押さえるのは群馬県高崎市内の駅と見られる。

東京新宿東映パラス2ほか、全国49スクリーンで2003年4月5日から3週間の興行を打ち、興行収入5,000万円。

荒俣宏は「菅原文太というと、私がいつも思い出すのはシルバーグレイの美しい髪だ。気高い獅子の髪である。面と向かった時にみせる優しい目とうらはらに、あのライオンヘアは自然で、しかも乱れない（中略）9.11事件が起きた数年後だったか、私が居候をしていた平凡社に菅原さんがふらりと現れた。それも真夜中に。これが初対面だった。文太さんが木曽に住居を移し、川や山の自然力を探求し始めた頃で、風水のことを知りたいという。とても静かな人だったが、相手を委縮させるのではなく、打ち解けさせる親和力があった。私は映画俳優にではなく、素の文太さんに一目惚れしたのだと思う。文太さんとたくさんお話しできた。若い頃の武勇伝も面白かったが、たまに出てくる『腐った』という表現が印象に残った。文太さんは腐った女や、腐った男や、腐ったこどもや、腐った政治を嫌った。映画界まで『腐ってる』と言った。ご本人も最後まで腐らない生き方を心がけた。その意味で文太映画の一本と言われたら『わたしのグランパ』を選ぶ。監督した東陽一は、もしかすると一種のジョークとして、話を腐らせない実験をあの映画でやったのかも知れない。13年ぶりに娑婆に戻ったグランパの任侠道は、最初から白骨化しているので腐りようがない。『オカルトパワー』まで備えた孫娘・石原さとみは、これから成長が始まる白紙であるから、腐ることを知らない。しかもストーリーは『あるようでいて、ない』だけならまだしも、飛躍と穏やかさとが混交するから、良い意味で腐敗の入り込む脂っ気がない。共演した嶋田久作さんに聞いたら『あれはファンタジー映画』だという。この永遠に腐らない映画で、文太さんの美しいヘアを眺めるのが私は好きである」などと述べている。