พระธาตุยโสธร หรือ พระธาตุอานนท์ ตั้งอยู่หน้าอุโบสถ เป็นพระธาตุรุ่นเก่าที่สำคัญองค์หนึ่งในภาคอีสาน เจดีย์ทรงสี่เหลี่ยมส่วนยอดคล้ายพระธาตุพนม ภายในพระธาตุบรรจุอัฐิธาตุของพระอานนท์ การก่อสร้างได้รับอิทธิพลศิลปะลาวที่นิยมสร้างขึ้นเมื่อปลายสมัยกรุงศรีอยุธยาถึงต้นรัตนโกสินทร์ ซึ่งตรงกับประวัติการตั้งเมืองและประวัติของวัดมหาธาตุ

เอกสารตำนานพื้นถิ่นกล่าวว่า ราวปี พ.ศ. 2313-2319 พระวรราชภักดี (พระวอ) ท้าวฝ่ายหน้า ท้าวคำผง ท้าวก่ำ ท้าวทิดพรหม ซึ่งอพยพหนีภัยสงครามมาจากเมืองหนองบัวลำภู พระองค์ได้สร้างเมือง ณ ที่แห่งนี้ และสร้างวัดขึ้นในบริเวณดงผีสิง เรียกว่า วัดทุ่งสว่าง
ปี พ.ศ. 2321 ต่อมาท้าวฝ่ายหน้า (ต่อมาได้รับพระกรุณาโปรดเกล้าฯ สถาปนาขึ้นเป็นพระวิไชยราชสุริยวงษขัติยราช ตำแหน่งพระประเทศราชครองนครจำปาศักดิ์) จึงได้บูรณปฏิสังขรณ์เจดีย์ขนาดใหญ่ที่วัดทุ่งสว่าง ปัจจุบันคือ พระธาตุอานนท์ และได้เรียกวัดทุ่งสว่างว่า วัดมหาธาตุ มาตั้งแต่บัดนั้น ภายในวัดมหาธาตุประกอบด้วยโบราณสถานสำคัญ คือ พระธาตุอานนท์ที่ไม่ปรากฏอายุสมัยการสร้างที่แน่ชัด แต่พบหลักฐานการบูรณะในปี พ.ศ. 2490
ปี พ.ศ. 2354 พระวิไชยวรราชสุริยวงศ์ขัตติยราชได้ถึงแก่พิราลัย พระบาทสมเด็จพระพุทธเลิศหล้านภาลัย รัชกาลที่ 2 จึงทรงพระกรุณาโปรดเกล้าฯ ให้เจ้านู ซึ่งเป็นหลานพระเจ้าองค์หลวงไชยกุมาร เจ้าผู้ครองนครจำปาสักองค์ก่อน เป็นเจ้าผู้ครองนครจำปาาสักสืบต่อไป จึงทำให้เจ้าราชวงศ์เมืองโขง (ท้าวคำสิงห์) ไม่เป็นที่พอใจที่จะทำราชการกับเจ้าผู้ครองนครจำปาสักองค์ใหม่ จึงได้พาครอบครัว และไพร่พลอพยพมาอยู่ที่บ้านสิงท่าดังเดิม พร้อมนำอัฐิพระวิไชยวรราชสุริยวงศ์ขัตติยราช (ท้าวฝ่ายหน้า) มาก่อเจดีย์บรรจุไว้ข้างองค์พระธาตุอานนท์ที่วัดมหาธาตุ เพราะเกรงว่าเจ้าผู้ครองนครจำปาสักองค์ใหม่ จะไม่เคารพอัฐิพระวิไชยวรราชสุริยวงศ์ขัตติยราช (ท้าวฝ่ายหน้า) และได้ปรับปรุงพัฒนาบ้านสิงห์ท่าให้ใหญ่โตรุ่งเรืองขึ้นเป็นอันมาก
ปี พ.ศ. 2373 สร้างหอไตรเพื่อเก็บรักษาคัมภีร์ที่พระครูหลักคำได้นำมาจากเวียงจันทน์

Thailand Tourism Directory