Xi'an adalah ibu kota Provinsi Shaanxi yang terletak di bagian barat laut China. Kota tersebut pernah dijadikan ibukota selama 13 dinasti dalam sejarah China. Dalam periode 1.100 tahun sebagai ibu kota negara, Xi'an mewarisi kebudayaan tradisional yang sangat baik dan artefak kuno yang tidak terbilang banyaknya. Kota Xi'an diakui sebagai satu dari 4 buah ibukota kuno yang terkenal di dunia, bersama-sama dengan Athena, Roma dan Kairo.
Kini, Xi'an merupakan pusat penelitian ilmiah, pendidikan tinggi, industri pertahanan nasional serta industri sains dan teknologi canggih yang terbesar di wilayah barat laut China.
Agama Islam tersebar ke Xi'an pada tahun 651 Masehi, yaitu pada zaman Dinasti Tang. Ada sekitar 20 buah masjid di kota tersebut. Kini, selain penduduk Islam lokal, semakin banyak orang Islam dari tempat lain seperti Daerah Otonom Uigur Xinjiang, Daerah Otonom Hui Ningxia dan provinsi Qinghai dan Henan tinggal dan bekerja di Xi'an. Kawasan hunian orang Islam terletak di kawasan Menara Lonceng dan Menara Genderang yaitu daerah yang paling sibuk di kota itu.
dianntara semua masjid di Xi'an, Masjid Agung Xi'an yang dekat Menara Gendang merupakan masjid yang terkenal. Masjid Xiaopiyuan terletak di arah utara Masjid Agung Xi'an. Itulah sebabnya masjid itu disebut sebagai masjid utara. Lorong Xiaopiyuan di mana terletaknya Masjid Xiaopiyuan tidak begitu sibuk karena dekat dengan deretan perumahan penduduk.
Menurut catatan sejarah provinsi Shaanxi, tidak ada catatan tentang waktu yang tepat keberadaan Masjid Xiaopiyuan, namun ia sudah ada pada zaman Dinasti Yuan yaitu saat pemerintahan Kaisar Huangqing (tahun 1312 sampai 1313). Jadi, masjid tersebut didirikan selambatnya pada zaman Dinasti Yuan.
Masjid Xiaopiyuan pernah mengalami rekonstruksi pada zaman Dinasti Ming selama pemerintahan Kaisar Wanli, yaitu tahun 1614. Sebuah prasasti yang mencatat sejarah proses perbaikan masjid itu masih terpelihara dalam masjid tersebut. Menurut catatan prasasti itu, agama Islam berkembang pada zaman Dinasti Yuan dan Ming, sedangkan jumlah penduduk Islam semakin banyak. Oleh sebab itulah, masjid dibangun kembali untuk menampung lebih banyak jamaah.
