Arkadaşlar selam, uzun zamandır PHP ile çalışıyorum ve özellikle büyük veri kümelerini işlerken bellek konusunda canımı sıkan bir sorun var. Mesela bir CSV dosyasından 500 bin satırlık veriyi okuyup veritabanına yazarken, veya bir API'den gelen büyük JSON verisini parse ederken, PHP'nin bellek limitini aşıp fatal error almak hiç hoş olmuyor. İşin ilginç yanı, her seferinde memory_limit değerini artırmak da çözüm değil, çünkü sunucuda sınırsız kaynak yok ve sonuçta uygulama yavaşlıyor.
Ben genelde generator kullanarak veya fread/fgets gibi akış tabanlı fonksiyonlarla satır satır işlemeye çalışıyorum, ama yine de bazen veri seti çok büyük olduğunda işler sarpa sarıyor. Özellikle foreach içinde her döngüde yeni bir dizi oluşturmak veya eski verileri temizlemeyi unutmak büyük sıkıntı. Peki siz bu tür durumlarda ne yapıyorsunuz? Mesela işlenen veriyi küçük parçalara bölüp (chunk) işlemek mi daha mantıklı, yoksa unset ile değişkenleri manuel olarak temizlemek işe yarıyor mu?
Bir de merak ettiğim şey, özellikle veritabanı sorgularında büyük sonuç kümelerini fetch ederken PDO'nun unbuffered query yapısını kullanan var mı? Yoksa hala her şeyi bir anda belleğe çekip sonra işlemek daha mı yaygın? Ben genelde buffered sorgu kullanıyorum ama çok fazla satır olunca mysql bile zorlanıyor. Deneyimlerinizi duymak isterim, belki gözden kaçırdığım bir yöntem vardır.
Ben genelde generator kullanarak veya fread/fgets gibi akış tabanlı fonksiyonlarla satır satır işlemeye çalışıyorum, ama yine de bazen veri seti çok büyük olduğunda işler sarpa sarıyor. Özellikle foreach içinde her döngüde yeni bir dizi oluşturmak veya eski verileri temizlemeyi unutmak büyük sıkıntı. Peki siz bu tür durumlarda ne yapıyorsunuz? Mesela işlenen veriyi küçük parçalara bölüp (chunk) işlemek mi daha mantıklı, yoksa unset ile değişkenleri manuel olarak temizlemek işe yarıyor mu?
Bir de merak ettiğim şey, özellikle veritabanı sorgularında büyük sonuç kümelerini fetch ederken PDO'nun unbuffered query yapısını kullanan var mı? Yoksa hala her şeyi bir anda belleğe çekip sonra işlemek daha mı yaygın? Ben genelde buffered sorgu kullanıyorum ama çok fazla satır olunca mysql bile zorlanıyor. Deneyimlerinizi duymak isterim, belki gözden kaçırdığım bir yöntem vardır.