წევრი : შესვლა |რეგისტრაცია |ატვირთე ცოდნა
ძიება
MapReduce [ცვლილებები ]
MapReduce არის პროგრამირების მოდელი და ასოცირებული განხორციელება გადამუშავების და გამოიმუშავებს დიდი მონაცემების კომპლექტი პარალელურად, განაწილებული ალგორითმი კასეტური.
MapReduce პროგრამა შედგება ფილტრაციისა და დახარისხების (მაგალითად, რიგით სტუდენტების რიგებში რიგებიდან, თითო რიგისთვის რიგის მიხედვით) და შემცირება () მეთოდი, რომელიც ახორციელებს შემაჯამებელ ოპერაციას (მაგ. თითოეული რიგის მოსწავლეთა რაოდენობის დათვლა, სახელების სიხშირეების გამომუშავება). "MapReduce System" (ასევე "ინფრასტრუქტურა" ან "ჩარჩო") ასევე განაწილდება გადამუშავებული სერვერების მარშრუტით დამუშავება, პარალელურად სხვადასხვა ამოცანების შესრულება, სისტემის სხვადასხვა ნაწილებს შორის ყველა საკომუნიკაციო და მონაცემთა გადაცემის მართვა და გამძლეობა და ბრალია ტოლერანტობა.
მოდელი არის მონაცემების ანალიზისთვის გაყოფილი-აპლიკაციის შერწყმის სტრატეგიის სპეციალიზაცია. იგი შთაგონებულია რუკაზე და ფუნქციურ პროგრამებში საყოველთაოდ გამოყენებული ფუნქციების შესამცირებლად, თუმცა მათი მიზანი MapReduce- ის ჩარჩოში არ არის იგივე, რაც მათ თავდაპირველ ფორმებში. MapReduce- ის ძირითადი შემოთავაზებები არ არის ნამდვილი რუკა და ფუნქციების შემცირება (მაგალითად, 1995 წლის გზავნილის გადაცემის ინტერფეისის სტანდარტის შემცირება და გაფანტული ოპერაციები), მაგრამ scalability და fault-tolerance მიღწეული სხვადასხვა განაცხადების მიერ ოპტიმიზაციის აღსრულების ძრავა. ამგვარად, MapReduce- ის ერთგვაროვანი განხორციელება, ჩვეულებრივ, არ შეიძლება იყოს უფრო სწრაფად, ვიდრე ტრადიციული (არა-რუკა) განხორციელება; ნებისმიერი მოგება, როგორც წესი, მხოლოდ მრავალრიცხოვანი ხასიათის შესრულებით ხორციელდება. ამ მოდელის გამოყენება სასარგებლოა მხოლოდ იმ შემთხვევაში, თუ ოპტიმიზირებული დისტრიბუციის ოპერაცია (რომელიც ამცირებს ქსელის საკომუნიკაციო ღირებულებას) და MapReduce- ის ჩარჩოების შეცდომების შემცველი ფუნქციები. საკომუნიკაციო ხარჯების ოპტიმიზაცია აუცილებელია კარგი MapReduce ალგორითმისათვის.
MapReduce- ის ბიბლიოთეკები ბევრ პროგრამულ ენაზეა დაწერილი, ოპტიმიზაციის სხვადასხვა დონეზე. პოპულარული ღია განხორციელება, რომელსაც გააჩნია დისტრიბუციისთვის განკუთვნილი მხარდაჭერა, არის Apache Hadoop- ის ნაწილი. სახელი MapReduce თავდაპირველად მოხსენიებული საკუთრების Google ტექნოლოგია, მაგრამ მას შემდეგ, რაც genericized. 2014 წლისთვის Google აღარ იყენებდა MapReduce- ს, როგორც პირველადი დიდი მონაცემთა დამუშავების მოდელი, ხოლო Apache Mahout- ში განვითარებული იყო უფრო ქმედითი და ნაკლებად დისკზე ორიენტირებული მექანიზმები, რომლებიც მოიცავს სრულ რუკას და შეამცირონ შესაძლებლობები.
1.მიმოხილვა
2.ლოგიკური ხედი
2.1.მაგალითები
3.მონაცემთა ნაკადი
3.1.შეყვანის მკითხველი
3.2.რუკა ფუნქცია
3.3.გაყოფის ფუნქცია
3.4.შედარება ფუნქცია
3.5.ფუნქციის შემცირება
3.6.გამოყვანის მწერალი
4.შესრულების მოსაზრებები
5.განაწილება და საიმედოობა
6.იყენებს
7.კრიტიკა
7.1.სიახლის ნაკლებობა
7.2.შეზღუდული პროგრამირების ჩარჩო
8.კონფერენციები და მომხმარებელთა ჯგუფები
[ატვირთვა სხვა შინაარსი ]


Copyright @2018 Lxjkh