Teşekkürler dostum ben biraz eksik yazmışım, birden çok dosyanın içerisinde birden çok kez kullanılan satırları ayıklamak istiyorum.
Python sizi çok uğraştırır EmEditor (Text Editor) kullanabilirsiniz 25milyon adet satırdan oluşan dosyayı yaklaşık 6 dakikada temizliyor.
Yine duplicate ayrımı için kullanmak isterseniz github da bir kaç script vardı eğer hazırda sunan olmazsa 21:00 den sonra bakıp gönderirim size.
emeditor hiç duymadım bu tarz bir kaç editor kullandım ama bunu da deneyeceğim. 25 milyon satıra kadar desteklemesi güzel. daha fazla olursa taramıyor mu yoksa daha mı uzun sürüyor? direk işlemciden mi güç alıyor acaba program?