I likhet med leire som Sachsenhausen, Mauthausen og Flossenbürg var muligheten for steinutvinning – spesifikt granitt – avgjørende for Gross Rosens opprettelse. Leiren lå 60 km sørvest for Breslau og ble åpnet i august 1940 som en uteleir til Sachsenhausen. I mai 1941 ble leiren imidlertid omorganisert til en selvstendig konsentrasjonsleir.
På dette tidspunktet hadde leiren i underkant av 800 fanger. Men nå begynte en storstilt utvidelse av leirområdet og leiren hadde til slutt en kapasitet på 15 000-20 000 fanger. I 1944 ble det på nytt besluttet å utvide leiren. Nå ønsket nazistene at fangekontingenten skulle kunne være på 45 000 fanger.
De fleste av fangene i Gross Rosen var polske, om lag halvparten av fangene var jøder. De jødiske fangene var først og fremst plassert i uteleirene.
Arbeids- og levevilkårene for fangene var svært dårlige, også sammenlignet med andre konsentrasjonsleire. Det tunge arbeidet i steinbruddet kombinert med lite mat og manglende medisinsk hjelp førte til massedød blant fangene. I 1943 ble tvangsareidet i leiren i stadig større grad omstilt på rustningsproduksjon og i 1944 begynte en storstilt utbygging av hovedleiren og de om lag 100 uteleirene og utekommandoene.
I løpet av 1944 ble rundt 90 000 fanger, blant dem ca. 25 000 kvinner, deportert fra leire og fengsler i øst til Gross Rosen på grunn av de sovjetiske troppenes fremrykning. Da evakueringen av Auschwitz begynte, ble også en del av fangene derifra sendt til Gross Rosen.
I slutten av januar 1945 ble Gross Rosen selv evakuert og fangene sendt på dødsmarsjer vestover i Det tyske Riket. Da sovjetiske enheter ankom leiren i februar 1945, var leiren tom.
Av de om lag 120 000 menneskene som var fanger i Gross Rosen, døde over 40 000. I dag er leiren et minnested.