พระธาตุเจ้าศรีจอมทองมีประวัติอันยาวนานมาตั้งแต่สมัยพระพุทธกาลซึ่งพอะสรุปได้ดังที่จะกล่าวต่อไป
ตามตำนานที่กล่าวถึงความเป็นมาของพระบรมธาตุศรีจอมทอง สรุปใจความได้ว่าดอยจอมทอง หรือ ดอยศรีจอมทองนั้น ได้แก่ที่ตั้งของวัดพระธาตุศรีจอมทองในปัจจุบันนี้ ซึ่งมีลักษณะเป็นภูเขาดินสูงจากระดับที่พื้นราบอื่น ๆ ในบริเวณนั้น ที่ตั้งพระวิหารอันเป็นที่ประดิษฐานพระบรมธาตุเจ้าจอมทอง จะเป็นยอดของดอยลูกนี้ในสมัยพุทธกาล และ มีเมืองอยู่เมืองหนึ่งชื่อว่า “ เมืองอังครัฏฐะ ” มีเจ้าผู้ครองเมืองนั้นามว่า พระยาอังครัฎฐะ ซึ่งเมืองนี้ตั้งอยู่ใกล้ ๆ กับดอยจอมทองลูกนี้ ซึ่งพระยาอังครัฎฐะนั้นได้ทราบข่าวจากพ่อค้าที่มาจากอินเดียว่า “ บัดนี้พระพุทธเจ้าได้บังเกิดในโลกแล้ว เวลานี้ประทับอยู่ที่เมืองราชคฤห์ในประเทศอินเดีย ” จึงได้ตั้งจิตอธิษฐานขอให้พระพุทธเจ้าเสด็จมาโปรด เมื่อพระพุทธองค์ทรงทราบด้วยพระญาณแล้ว จึงเสด็จสู่เมืองอังครัฏฐะพร้อมด้วยภิกษุสาวกทางอากาศ ได้มารับอาหารบิณฑบาตจาก พระยาอังครัฏฐะ และ ทรงแสดงธรรมโปรดพร้อมทั้งได้ตรัสพยากรณ์ไว้ว่า “ เมื่อเรานิพพาน แล้วธาตุพระเศียรเบื้องขวา( พระทักษิณโมลี ) ของเราจักมาประดิษฐานอยู่ ณ ที่ดอยจอมทองแห่งนี้ ” แล้วเสด็จกลับส่วน พระยาอังครัฏฐะเมื่อได้ทราบจากคำพยากรณ์นั้นแล้ว จึงได้สร้างสถูปไว้บนยอดดอยจอมทอง ด้วยหวังว่าจะให้เป็นที่ประดิษฐานพระบรมธาตุตามที่พระพุทธเจ้าทรงพยากรณ์ไว้นั้น พระยาอังครัฎฐะอยู่ครองราชย์จนสิ้นพระชนม์มายุของพระองค์
ต่อมาภายหลังเมื่อพระพุทธเจ้าเสด็จปรินิพพานแล้ว โทณพราหมณ์ได้จัดแบ่งพระบรมสารีริกธาตุให้แก่กษัตริย์ทั้ง ๘ นคร ซึ่งในครั้งนั้น มัลลกษัตริย์แห่งเมืองกุสินาราทรงได้พระทักษิณโมลีธาตุไว้ พระมหากัสสปะเถระเจ้าประธานฝ่ายสงฆ์ จึงได้กราบทูลมัลลกษัตริย์ถึงพุทธพยากรณ์ที่พุทธองค์เคยตรัสไว้ มัลลกษัตริย์ทราบดังนั้นจึงถวายพระบรมธาตุแด่พระมหากัสสปะเถระ ซึ่งท่านก็ได้อัญเชิญพระบรมธาตุวางไว้บนฝ่ามือ แล้วอธิษฐานอาราธนาพระบรมธาตุให้เสด็จไปยังดอยจอมทอง เพื่อประทับอยู่ในโกศแก้วอินทนิลภายในเจดีย์ทองคำ ที่พญาอังครัฎฐะได้สร้างถวายไว้ อยู่ที่ยอดดอยจอมทอง ตามที่พระพุทธองค์ได้พยากรณ์ไว้.