歴史
創建
創建時期は詳しくは不明ですが、天平13年（741年）に聖武天皇の詔により建立されたと見られます。発掘調査によると、主要な堂塔は750年代には完成していたと推定されます。美濃国分寺以前には、白鳳期の寺院跡があり、その前身寺院を踏襲して国分寺が建立されたことが判明しています。
金銀山国分寺の寺伝では、天平9年（737年）に聖武天皇の勅により行基が薬師如来像を彫り、本尊とし、七堂伽藍を建てて寺を開いたとされています。ただし、薬師如来像は平安時代頃の作とされています。
古代
天平神護2年（766年）には、伊勢国や美濃国の官舎修理に「国分二寺」が含まれるように命じられました。神護景雲4年（770年）には、美濃国方県郡の少領の国造雄万が国分寺に私稲2万束を献じたことで昇叙されました。宝亀6年（775年）には、異常風雨により美濃国分寺を含む諸寺塔が倒壊する被害がありました。
仁和3年（887年）には火災で全焼し、その機能は席田郡定額尼寺に移されました。その後の再建については文献に記述はありませんが、発掘調査では10世紀前半から中頃には再建されていたことが認められます。延長5年（927年）の『延喜式』では、美濃国の国分寺料として稲4万束があてられていました。
寛弘元年（1004年）の官宣旨では、美濃国国分寺の堂塔雑舎の破損状況を調べるために派遣が命じられており、再建国分寺が存在していたことがわかります。また、長元2年（1029年）には損色使が遣わされました。現在の金銀山国分寺の本尊である薬師如来像は11世紀頃の作と見られ、当時の寺勢が示唆されます。しかし、12世紀末頃には衰退し、国分寺としての機能を失ったと推測されます。
中世
中世には、安貞2年（1228年）の文書で後宇多院領となったことが記されており、正和3年（1314年）の文書では尊治親王（後醍醐天皇）から四辻入道親王への返還が見えます。また、元亨2年（1322年）の文書には山城醍醐寺蓮蔵院の坊領として記されています。貞治4年（1365年）の文書では、美濃守護の土岐頼康に対して春日社造替料の賦課が命じられています。
近世
江戸時代に入り、元和元年（1615年）に阿闍梨の真教が薬師如来像を掘り出し、これを本尊として国分寺を再建しました。
近代以降
1916年（大正5年）：耕地整理中に金堂基壇が発見されました。
1921年（大正10年）：国分寺跡が国の史跡に指定されました。
1968-1979年（昭和43-54年）：寺域範囲確認の発掘調査、史跡整備に伴う発掘調査が実施されました。
1971年（昭和46年）：史跡範囲の追加指定が行われました。
1974-1980年（昭和49-55年）：史跡環境整備が行われました。
1982年（昭和57年）：北側隣接地に大垣市歴史民俗資料館が開館しました。
1996年（平成8年）：伽藍南側隣接地の発掘調査が行われました。
2007年（平成19年）：美濃国分寺跡歴史公園が全面開園しました。
2019年（令和元年）：史跡範囲の追加指定が行われました。
美濃国分寺跡
寺跡
僧寺跡は現国分寺の南方に位置し、寺域は東西230メートル、南北250メートルで、築地塀で区画されていました。主要伽藍として、南門・中門・金堂・講堂・僧房が南から一直線に配置され、中門の左右からは回廊が出て金堂の左右に取り付きます。その回廊で囲まれた内側の東寄りに塔が配置される大官大寺式の伽藍配置となっていました。
金堂
本尊を祀る建物です。基壇は塼積基壇で、東西36.5メートル、南北22.85メートルを測り、南北両面の中央に階段が付いています。基壇周囲には犬走りがあり、その外側に雨落溝が認められます。基壇上の建物は桁行7間×梁間4間で、東西29.4メートル、南北16.2メートルを測り、四囲に庇を付けています。現在は基壇が復元されています。
塔
経典（金光明最勝王経）を納めた塔です。回廊内側、中門・金堂の間の東寄りに位置します。基壇は塼積基壇で、東西19.0メートル、南北19.2メートルを測ります。基壇上の建物は七重塔と見られ、高さは58メートルと推定されます。現在は基壇が盛土により標示され、礎石が露出展示されています。
回廊内建物
用途不明の建物で、回廊内側、中門・金堂の間の西寄りに位置します。基壇は東西25.4メートル、南北16.4メートルとされ、平安時代の瓦が出土しています。現在は基壇が盛土により標示されています。
講堂
経典の講義や教説を行う建物で、金堂の北方に位置します。基壇は石積基壇で、東西27メートル、南北18メートルを測ります。現在は遺構が標示されています。
僧房
僧（定員20人）の宿舎で、回廊西側で遺構が検出されています。掘立柱建物で、棟を南北方向とする桁行10間以上×梁間3間の建物です。現在は基壇が盛土により標示されています。
経蔵
経典を収蔵した建物で、回廊外側、金堂・講堂の間の東寄りに位置すると推定されます。現在は推定位置で基壇が盛土により標示されています。
鐘楼
梵鐘を吊した建物で、回廊外側、金堂・講堂の間の西寄りに位置します。現在は基壇が復元されています。
中門
金堂の南方に位置し、左右には回廊が取り付きます。現在は基壇が盛土により標示されています。
回廊
中門・金堂を結ぶ屋根付きの廊下で、幅6メートルです。現在は基壇が盛土により標示されています。
南門
中門の南方に位置する国分寺の正面門です。現在は基壇が盛土により標示されています。
築地塀
寺域を区画する塀で、幅6.2メートル、高さ3メートルと推定されます。現在は盛土・植栽により標示されています。
美濃国分尼寺跡
尼寺跡は不破郡垂井町平尾の地に推定され、現在は石碑が建てられています。同地は美濃国府跡と美濃国分寺跡の間に位置し、出土瓦には国分寺跡と同じ文様が認められています。
文化財
重要文化財（国指定）
木造薬師如来坐像（彫刻）：平安時代の作。ケヤキ材の一木造による巨像で、像高304.8センチメートル、膝張112.5センチメートル、膝高22.7センチメートルを測ります。1914年に指定されました。
国の史跡
美濃国分寺跡：1921年に金堂・塔周辺部が指定され、1971年と1974年に史跡範囲が追加指定されました。2019年にはさらに追加指定されました。