Teşekkürler dostum ben biraz eksik yazmışım, birden çok dosyanın içerisinde birden çok kez kullanılan satırları ayıklamak istiyorum.
Python sizi çok uğraştırır EmEditor (Text Editor) kullanabilirsiniz 25milyon adet satırdan oluşan dosyayı yaklaşık 6 dakikada temizliyor.
Yine duplicate ayrımı için kullanmak isterseniz github da bir kaç script vardı eğer hazırda sunan olmazsa 21:00 den sonra bakıp gönderirim size.