Yemek tarifleri gibi günlük süreçler, büyük veri ve yapay zeka ile optimize edildiğinde önemli kazanımlar sağlayabilir. Bu projede, kullanıcıların yemek yapma deneyimlerini iyileştirmek, tariflerin zorluk seviyelerini tahmin etmek ve uygun öneriler sunmak amacıyla devasa bir veri seti üzerinde çalıştık. ~2.5 milyon tariften oluşan bu veri setini derinlemesine analiz ederek, ileri düzey makine öğrenimi ve doğal dil işleme teknikleriyle zenginleştirdik. İşte bu sürecin ardındaki teknik detaylar:
Veri Toplama ve ETL Süreci: Büyük Veriyi İşlenebilir Hale Getirmek
Toplam 27 farklı kaynaktan ~2.5 milyon tarif toplandı. Ancak bu veri, farklı formatlarda ve yapısal farklılıklarla karşımıza çıktı. Veri setini normalize etmek, outlier’ları temizlemek ve eksik verileri anlamlandırmak kritik adımların başında geldi.
Veri temizleme sürecinde, metin işleme teknikleri ile malzeme listeleri ve ölçü birimleri yeniden düzenlendi. Özel algoritmalar kullanılarak, fırın sıcaklıkları, pişirme süreleri ve gramajlar gibi sayısal veriler standart hale getirildi. Bu adımlar, veri setini daha homojen ve modellemeye uygun hale getirdi.
Özellik Mühendisliği: Karmaşık Veriyi Değerli Bilgiye Dönüştürme
Veriyi yalnızca temizlemek yeterli değildi; bu yüzden ileri düzey özellik mühendisliği teknikleri kullanarak veri setini zenginleştirdik. Tarif isimleri, malzemeler ve pişirme süreleri üzerinden anlamlı özellikler çıkarıldı. Tarif adlarını ve içeriklerini analiz etmek için yapılandırılmış metin madenciliği teknikleri uygulandı. Bu yöntemlerle tariflerin doğru kategorilere atanması sağlandı.
Malzeme listelerinden gramaj ve miktar bilgileri çıkarılarak normalize edildi. Her tarifin toplam malzeme miktarını gramaj bazında hesaplamak, zorluk seviyesini tahmin etmede önemli bir metrik oluşturdu. Ayrıca malzeme çeşitliliği, pişirme yöntemleri ve süreler gibi özellikler tariflerin zorluk seviyesini belirleyen temel bileşenler olarak kullanıldı.
Dil Modelleme ve N-Gram Analizi: Tarif Metinlerinin Derin Analizi
Doğal dil işleme yöntemleriyle tarif metinlerini detaylı analiz ettik. Metinlerde en sık kullanılan kalıpları ve malzemeleri belirlemek amacıyla n-gram analizleri gerçekleştirildi. Bu analizler, tarifler arasında benzerlikler tespit etmemize ve öneri sistemini güçlendirmemize olanak tanıdı. Tarif metinlerinden fırın sıcaklıkları, pişirme süreleri ve kullanılan pişirme teknikleri gibi önemli bilgiler de metin analiz yöntemleriyle ayrıştırılarak modellerde kullanıldı.
Denetimsiz Öğrenme: Tarifleri Kümelere Ayırma
Denetimsiz öğrenme modelleri, tarifleri içeriklerine göre kümelere ayırmada kullanıldı. Tarif kategorilerini belirlemek amacıyla özel kümeleme algoritmaları devreye sokuldu. Bu süreçte, tariflerin içerikleri, kullanılan malzemeler, pişirme teknikleri ve süreleri gibi çok boyutlu veriler dikkate alınarak tarifler anlamlı gruplar halinde sınıflandırıldı.
Model performansı çeşitli metriklerle değerlendirildi ve en uygun modeli seçmek için kapsamlı bir optimizasyon süreci uygulandı. Bu adım, tariflerin doğal kümelenmelerini keşfetmek ve zorluk seviyelerini doğru bir şekilde tahmin etmek için kritik önem taşıdı.
Denetimli Öğrenme ve Ensemble Modelleme: Tarif Zorluk Seviyelerinin Tahmini
Zorluk seviyesini daha hassas tahmin edebilmek için denetimli öğrenme modellerini kullandık. İlk aşamada tarifler, zorluk seviyelerine göre kümelere ayrıldı. Sonrasında denetimli öğrenme algoritmalarıyla bu tahminler rafine edildi. Birden fazla modelin güçlü yönlerinden yararlanmak adına ensemble modelleme yaklaşımları kullanıldı.
- Çok katmanlı derin öğrenme modelleri, doğrusal olmayan ilişkileri başarıyla yakalayarak tarifi oluşturan bileşenler arasındaki karmaşık dinamikleri modellememizi sağladı.
- Verinin büyüklüğü göz önünde bulundurularak daha hızlı eğitim ve düşük bellek kullanımı sunan yaklaşımlar tercih edildi.
- Kategorik verilerin modelleme sürecine entegre edilmesi ve aşırı öğrenmeye karşı dayanıklı algoritmalar kullanıldı.
Bu modeller, farklı yöntemlerin güçlü yönlerini birleştirerek daha dengeli ve genel bir tahmin süreci sundu. Sonuçları optimize etmek amacıyla hiperparametre optimizasyonu uygulandı ve modelin performansı en üst seviyeye çekildi.
Sonuçların Görselleştirilmesi: Elde Edilen Bilgilerin Etkili Sunumu
Analiz sonuçlarını paylaşmak ve daha anlaşılır hale getirmek için ileri düzey görselleştirme teknikleri kullandık. Grafiksel sunumlar ve interaktif araçlar, projenin ana bulgularını öne çıkardı ve kullanıcıların tariflerin zorluk seviyeleri hakkında daha derinlemesine bilgi sahibi olmalarını sağladı.
Sonuç: Veri Bilimi ile Yemek Yapmayı Anlamlandırmak
Bu proje, büyük bir veri setini detaylı metin işleme ve makine öğrenimi teknikleri ile işleyerek kullanıcıların yemek yapma süreçlerini optimize eden bir sistem sundu. Zorluk seviyelerinin tahmininde gelişmiş modeller kullanarak veriyi anlamlandırdık ve kullanıcılara daha akıllı tarif önerileri sunmayı başardık. İlerleyen aşamalarda, kişiselleştirilmiş öneriler ve daha geniş veri kaynakları ile sistemi daha da ileriye taşımayı planlıyoruz.
Algorizm Ekibi 🙂
Türker UZUN LinkedIn
İlhami Demirci: LinkedIn
Mahmut Keçeci LinkedIn
Vildan Çimen Linkedin
UYGULAMA DEMOSU:
Uygulama şuan ingilizce olarak çalışıyor, yakında Türkçe dil desteği ve farklı özellikleriyle yayınlanacaktır.