Opprinnelsen til navnet Gravberget er trolig Granberget, som det ble kalt til Gudmund og hans brødre innvandre. De var av ren finneslekt. Det er sannsynlig at alle fangstgravene for elg, som man kan se rester av oppover berget, har resultert i navneendringen. Ellers er stenen "Berjegropa" og "Sigfriddalen" dannet av veldige naturkrefter. Her har vi fått to merkverdige groper (graver) i berget. Muligens har dette en sammenheng med navngivingen.

Den første bosettingen i Gravberget var i 1656 da Anders Mortensen Liitainen slo seg ned på plassen Harildshaugen som nå heter Olastu'n. Morten dro videre og bygslet Risberget i 1667, mens Gudmund slo seg ned i nåværende Gudmundsåsen. Her skulle han ikke bli lenge. Han flyttet over dalen, til Gravbergslia med sine sønner, Morten, Sjur og Arnt. Her tok sola mye bedre.

Ellers var det slik at finnene for enhver pris ville slippe kontakt med bygdefolket. Gudmundsåsen ble for nær Stordigerheden der det var seterdrift. Slik endte det i alle fall med at Mortenstuen, Sjurstuen og Arstuen ble bygd av Gudmund og sønnene. Disse finnetorpene ble i 1956 underlagt Gravbergsgarden. Gravberget var kongealmenning til 1689, men finnene tok seg likevel til rette, og fortrengte annen bosetting. Befolkningen i Gravberget er sannsynligvis den finneslekten på hele Finnskogen som har bevart sin opprinnelse best, siden de levde så isolert.

Det er en massegrav ovenfor Gravberget Gård med 70 finner. Disse døde etter en farsott (pest) i 1719. Sagnet forteller at presten selv gikk med etter å ha gravlagt dem. Presthaugen (ca 1 mil sørvest for Gravberget) fikk dermed sitt navn fordi han døde der på veg tilbake til hovedsognet. Under Finnetinget i Hof i 1686 ble det registrert 70 finner bosatt i Gravberget.

Allerede i 1894 fikk Gravberget telefonforbindelse fra Våler sentral, men det fantes ingen veg fra bygda. I 1929 ble det vegforbindelse til Gravberget fra sør, den såkalte Flisdalsvegen. Første i 1952 fikk grenda vegforbindelse til Våler. Dengang var det bare 8 km med skogsbilveg.

I dag er dette vegnettet på 230 km. Samtidig startet en rivende utvikling og bygda hadde sin glanstid. Det ble bygd 18 arbeiderboliger, kirke, forretningsgård og samtidig lagt inn strøm. Innbyggerne kunne også få kjøpe sine egne nyrestaurerte husmannsplasser. På 15 av disse 25 finnebrukene beiter elgen i dag. I den senere tid har fraflyttingen vært stor.

Fra et innbyggertall på 290 i 1963, er det idag ca 90 igjen. Den nye skolen (bygd i 1963) ble nedlagt i 1988. Da var det to elever igjen. I 1968 var det 70 elever. Gravbergsgarden har spilt en sentral rolle for bygda etter den ble oppført i 1858. Den fungerte i første rekke som skole, butikk, bestyrerbolig og administrasjonssted, og var i hele 97 år bygdas kirkestue. Borregaard overtok driften av Gravbergsskogene og Gravberget Gård i 1902. Eiendommen i Gravberget består i dag av 220 000 daa.