Schon zur Römerzeit wurde diese Talenge als natürliche Sperre angesehen.  Hier verlief  vermutlich auch später die Grenze des bayrischen Herzogtums. Sie war eine der bedeutendsten Grenz- und Zollstationen Tirols. Der unter Herzog Sigmund dem Münzreichen auf dem überhängenden Felsen erbauten Zollfeste Sigmundseck sind nur mehr die Ruinen erhalten. Ursprünglich befand sich an diesem Ort eine mittelalterliche Höhlenburg. Die turmartige fünfgeschossige Straßensperre, durch die der gesamte Verkehr ging, geht auf Kaiser Maximilian I. zurück. Von der Nordseite des Torturmes zieht sich eine Sperrmauer mit Schießscharten und Fenstern dem Berghang hinauf.