Mengikut dongeng orang Melayu, Sang Kelembai atau dikenali juga sebagai Sang Gedembai merupakan makhluk ghaib yang tinggal di dalam hutan jauh dari penempatan manusia. Sang Kelembai dikatakan memiliki ‘kuasa sakti’. Segala objek yang ditegur atau disumpah oleh Sang Kelembai akan bertukar menjadi batu.

Sang Kelembai dipercayai telah lalu di Sungai Pahang dan terlihat sebuah sawar, iaitu sejenis alat tangkapan ikan di tengah sungai. Sang Kelembai yang merasakan sawar tersebut mengganggu laluannya terus menyumpah sawar tersebut. Akibatnya, sawar itu bertukar menjadi batu. Nama Kampung Batu Sawar diambil bersempena batu sawar ini. Pengunjung boleh datang dan melihat sendiri batu sawar ketika air sungai surut.