Неизвестно, когда и по какому поводу был установлен первый крест, но считается, что само место было священным издавна. По преданию, еще в дохристианскую пору на вершине горы горел негасимый огонь.

В древности на этом месте возвышался деревянный замок (Куле, Кулан, Куллен, Кула), представлявший собой курган продолговатой формы, напоминающая седло, площадь поверхности 25х20 м. Городище вместе с другими крепостями в 1348 г. разрушил и сжег Ливонский орден. Городище было сожжено дотла, а местные жители и защитники деревянного замка подверглись истреблению. После карательного похода крестоносцев холм, усеянный костями литовцев, по преданию, стал местом всенародного поклонения.
После тайного захоронения участников восстания 1831 г. здесь начали ставить кресты и погибшим, и пропавшим без вести. Кресты впервые в письменных источниках упоминаются в 1850 г., хотя их появление и связывают с восстанием 1831 г. После подавления народного восстания 1863 г. количество крестов на горе увеличилось.

В 1923 г. появляется новая традиция - храмовой праздник Крестовой горы, во время которого служится Святая Месса, освящаются кресты.

В советские времена гору хотели уничтожить. В 1961 г. ее разрушили впервые, всего было сделано около четырех таких попыток в течение почти двух десятилетий, но каждый раз гора возрождалась.

С наступлением Перестройки, в 1988 г. статус горы изменился, она стала достоянием Литвы. Гора превратилась в храм под открытым небом.

7 сентября 1993 г. папа Иоанн Павел II посетил Крестовую гору, провел на ней богослужение и благословил отсюда Литву и всю Европу.

Ныне здесь насчитывается более 50 тысяч крестов, а также статуэток с изображениями святых и икон, четок. Каждый крест на холме имеет свою историю.