去除文本文件里面的重复的行 removing repeating lines in text file

open file with vi  and then
use this command
%！sort -u


Thanks!
Yanchao WANG

Comments

Post a Comment

Popular posts from this blog

周末发现的两样东西，和心理有关的。

1. iOS上的 Relax me系列软件： 大致和催眠有些接近。 其中的Relax me是免费的。 其实是一个大约10分钟的录音， 非常有效果，以前都不怎么相信催眠这样的事情， 现在通过这样一个小软件，让我体会到催眠这种东西还是有一些道理的。 Relax me lite作者叫 Andrew Johnson, 主要是通过大约10分钟的录音，让你的身体进入一种介于睡眠和清醒之间，全身肌肉放松的状态，非常适合 中午，下午和晚上刚刚开始的时候， 你要是忽然觉得特别困，但是又怕睡着，浪费太多时间， relax me这样一个session下来，身体的肌肉从脚趾头开始网上到头，到手指，全部放松， 维持大约10分钟，注意力被集中到呼吸上和身上的脉搏的跳动上。 真的是非常奇妙的感觉。一开始 Host平和的声音，给你一些暗示，让你把注意力集中到脚，脚踝，大腿，肚子 等等上，慢慢的开始放松。 后来，会发现你的呼吸变成你有意识的呼吸，所有的注意力都集中到你自己的身体的感知上。 也能听到身边人的声音，但是你却可以选择忽略， 然后浑身休息非常透彻， 有一种四肢不是你自己的的错觉，貌似是一种灵魂游离的感觉（有些唯心主义了） 然后再最后阶段，Host声音 忽然变得有力，音量也有些大，感觉好像一个电流激活了一下身体一样， 真的变得非常有精神。 具体的效果可能跟人有关， 这个在晚上用的时候非常利于睡眠，不过因为是lite版的 所以后面的激活清醒阶段在晚上不能省略掉。10分钟 非常节省时间。 而且确实能达到比午睡更好的休息效果。 当然这个肯定是不能代替正常睡眠的。 注意使用时，并且带上耳机，最好隔音效果好一些。 千万把你的手机设置成静音，。 我很惨痛的一次是 在中间阶段 正舒服的时候 ，一条短信， iphone特有的“DING的一声在耳机里把我吓了个半死，一下子从椅子上跳起来了。。。 第二个东西是一本书，很有意思， 留到下次再介绍
Read more

QStringList related performance

Recently I had to process a text file with a certain format, around 1 million lines, and for each line, some segments are separated by blank space (one/two/three, not always single blank space). At the beginning, I used the most natural method, go through each line, and split with a regular expression: QRegularExpression reg_ex_empty = QRegularExpression ( "\\s+" ); Lines[i].split(reg_ex_empty) Unfortunately, the performance is very poor, for a file of merely 70k lines, it took almost 14s. I tried different kind of profiling, the bottleneck is not the initialization of regex. In fact, even if I just split(“ “), and then remove the empty element from the QStringList, it still took 14s. In the end, it seems the performance bottle neck is in the removal of empty elements in list(with StringList.removeAll() or regex). So I just leave the empty elements in the list, the whole time is reduced to 5 seconds. Maybe this comes with a memory cost, but in my case, it’s n...
Read more