Parmi les plus grands d'Europe, il est l'un des monuments historiques juifs les plus importants de Prague. Des personnalités renommées de la communauté juive locale y furent enterrées, parmi lesquelles le rabbin Juda Lœw ben Bezale, l'homme d'affaires Mordekhaï Maisel, l'historien David Gans, ou le rabbin David Oppenheimer. Aujourd'hui ce cimetière est administré par le Musée juif de Prague.

Il fut en fonction de 1478 à 1786, succédant au cimetière appelé "jardin juif" qui a été découvert au cours de fouilles archéologiques sous la rue Vladislavova. Ce dernier fut fermé sur ordre du roi Vladislas IV de Bohême en 1478 à la suite de plaintes d'habitants de Prague. Il disparut plus tard sous les rues de la Nouvelle Ville. L'histoire du vieux cimetière remonte probablement à plus loin mais la date exacte de sa création est inconnue.

Pendant les plus de trois siècles d’utilisation active de ce cimetière, la question de la place fut un problème permanent. La piété et le respect dus aux ancêtres décédés n'autorisent pas les Juifs à supprimer une tombe existante. Occasionnellement seulement, la communauté juive fut autorisée à acheter des terrains afin d'étendre le cimetière et fut souvent contrainte d'ajouter des couches de terre par-dessus le sol existant, si bien que par endroits on compte jusqu'à douze couches successives. Cela a permis de préserver les tombes les plus anciennes. Cependant, lors d'ajouts de nouvelles couches on dut soit recouvrir les anciennes pierres tombales, soit les relever à la nouvelle surface, ce qui explique la grande densité de pierres tombales que l'on peut voir aujourd'hui. Le nombre exact de pierres tombales et de morts enterrés est imprécis du fait des couches successives, mais il est estimé à douze mille tombes.

Il y a deux types de monuments funéraires dans la tradition juive (matzevot en hébreu). Le plus ancien est une dalle de bois ou de pierre rectangulaire, mais dont le sommet présente des formes variées. L'ohel apparaît plus tard à l'époque baroque et est réservé à des personnages illustres de la communauté juive comme par exemple Mordekhaï Maisel ou le Maharal. L'ohel ne contient pas la dépouille du défunt qui repose plus profondément dans le sol.