<?php previous_post_link('%link', '前の記事'); ?>
<?php next_post_link('%link', '次の記事'); ?>

このソースの場合は、<a href=”リンクURL”>前の記事</a>と吐き出される。これを、<li></li>で囲みたい場合は以下のように書く。

<?php previous_post_link('<li>%link</li>', '前の記事'); ?>
<?php next_post_link('<li>%link</li>', '次の記事'); ?>

参考サイト

• カスタム投稿の次の記事、前の記事の表示方法