Etymologia słowa „prokuratura" wywodzi się z języka łacińskiego. Łacińskie procurare oznacza zajmować się interesami, zarządzać. W Cesarstwie Rzymskim prokurator oznaczał zarządcę, wysokiego urzędnika w Rzymie lub prowincji.
również należy instytucję procurator rei publice, a więc naczelnego prokuratora cesarskiego, a także procurator provincionarum oznaczającego zarządcę prowincji, który działał z upoważnienia i w imieniu cesarza.
Prawo rzymskie odróżniało rzeczników (advocati), którzy wyręczali stronę stającą w sądzie w jej oświadczeniach, od zastępców (procuratores), którzy występowali w imieniu strony nieobecnej w sądzie. Prokuratura we współczesnym zarysie nie powstała ex nihilo, ale formowała się na przestrzeni wieków.
Instytucja prokuratury w zasadzie jest pochodzenia francuskiego. Nowożytna koncepcja prokuratury pojawiła się na przełomie XIII i XIV wieku we Francji, w Hiszpanii i Portugalii. Prokurator pierwotnie pełnił rolę pełnomocnika monarchy przed sądem.
Natomiast od XIV wieku prokuratorzy przekształceni zostali w stałych, mianowanych poprzez króla urzędników. We Francji prokuratorzy przy sądach wyższych nazywali się prokuratorami generalnymi (prosecureurs généraux), a przy sądach niższych nazywali się prokuratorami królewskimi (prosecureurs du roi) podlegając jednocześnie prokuratorom generalnym przy sądzie wyższym.