今天拿到一个很大的文件，中间有很多重复行需要去除，在网上搜索的结果中大都是需要用到TextFX这个插件进行排序去重，实在是不符合我的需求，遂谷歌求得解决方案，不敢独享，其实就是用正则表达式去替换，表达式如下：

^(.*?)$\s+?^(?=.*^\1$)

操作方法如下，快捷键Ctrl+H，在弹出的界面输入表达式，并勾选匹配新行，如图所示：然后点击全部替换，看下重复行是不是已经没有了~

转载scdn 王图思睿文章