На протяжении XVIII–XIX столетий на месте, где сейчас находится сад, размещались летние лагеря 39-го пехотного Томского полка. Долгое время эта территория была закрытой для широкой публики, так как в лагере нередко проходили учения и стрельбы, во время которых простой гражданский мог угодить под пулю.