แซส เผยทิศทางและแนวโน้มเทคโนโลยี Hadoop เพื่อการนำมาใช้วิเคราะห์ข้อมูลเชิงลึกในองค์กรธุรกิจ

นายไลฟง ทราน นักกลยุทธ์เชิงเทคโนโลยีระดับภูมิภาค, แซส กล่าวว่า ภาพรวมของเทคโนโลยี Hadoop ได้รับความสนใจค่อนข้างมากในแวดวงของนักวิเคราะห์ข้อมูล และเหตุผลที่ต้องอ้างถึงเทคโนโลยี Hadoop เนื่องจากเป็นโซลูชั่นที่ราคาไม่แพง สำหรับการจัดเก็บและประมวลผล Big Data  แต่ต้องไม่ลืมว่า ปริมาณข้อมูลที่เข้ามาในแต่ละวันมีมหาศาล เราจะรับมือกับการเตรียมข้อมูลบนเทคโนโลยี Hadoop อย่างไร เพื่อให้ได้ผลลัพธ์ต่อการแสดงข้อมูลด้วยภาพ (Visualization) ซึ่งมีเทคนิคมากมายหลายวิธีที่จะรวมเข้าไว้กับเทคโนโลยี Analytics  ทั้งนี้ก่อนที่เราจะเรียนรู้เทคนิคใหม่ๆ เราคงต้องมาเรียนรู้เกี่ยวกับเทคโนโลยี Hadoop ก่อนว่า เป็นระบบแบบไหน มีคุณสมบัติอย่างไร

เทคโนโลยี Hadoop มีองค์ประกอบ 2 ส่วน คือ ระบบที่มีราคาประหยัดสำหรับการจัดเก็บข้อมูลเรียกว่า Hadoop distributed file system (HDFS) และระบบที่มีเครื่องมือประมวลที่กระจายข้อมูลไปยังส่วนต่างๆ ของการปฏิบัติงานเพื่อนำข้อมูลไปใช้งาน หรือการประมวลผล Big data ที่เรียกว่า MapReduce

แต่อย่างไรก็ตามเทคโนโลยี Hadoop ยังมีข้อจำกัดอยู่บ้างเมื่อมีการวิเคราะห์ข้อมูลขั้นสูง เนื่องจากซอฟต์แวร์ที่ทำงานรายล้อมเทคโนโลยี Hadoop มีหลากหลายโครงสร้าง ทั้งข้อมูลกึ่งมีโครงสร้าง (Semi structured data) และข้อมูลแบบไม่มีโครงสร้าง (Unstructured data) และหากไปถึงการวิเคราะห์ข้อมูลขั้นสูงในรูปแบบโครงสร้าง ecosystem ขนาดใหญ่ของเครื่องมือที่มีความล้ำหน้า ซอฟต์แวร์ช่วยเชื่อมข้อมูล (Connectors) ที่ถูกสร้างขึ้นมารายรอบเทคโนโลยีHadoop น่าจะมีความจำเป็น และเทคนิคใหม่ๆ ในการหาผลลัพธ์ต่อการแสดงข้อมูลด้วยภาพ อาจจะต้องพิจารณาถึง  in-Memory analytics หรือการวิเคราะห์ภายในหน่วยความจำ ที่ถูกออกแบบมาเพื่อช่วยให้ผู้ใช้เรียกดูการแสดงผลข้อมูลได้ง่ายขึ้น และรวดเร็วแบบเรียลไทม์ได้ในทุกที่ ซึ่งจะทำการประมวลผลข้อมูลด้วยหลักการทางคณิตศาสตร์ภายในหน่วยความจำ (แรม) แทนการทำงานบนดิสก์เพื่อหลีกเหลี่ยงการใช้เวลาในการรับ/ส่งข้อมูลระหว่างการประมวลผล (I/O) นายไลฟง ทราน  แซส

โดยเทคนิคการวิเคราะห์ขั้นสูง เช่น สถิติขั้นสูง, คลังข้อมูล, การเรียนรู้ของกลไกของการทำงาน, คลังข้อความ และระบบแนะนำข้อมูล (recommendation systems) สามารถได้รับประโยชน์จากการประมวลผลแบบ in-memory อีกด้วย และเป็นเหตุผลให้ผู้ค้าเทคโนโลยีหลายรายในปัจจุบันให้ความสำคัญกับการนำเสนอการประมวลผลแบบ in-memory สำหรับเทคโนโลยีHadoop โดยยกข้อมูลจากเทคโนโลยีHadoop ไปไว้ในเครื่องมือภายในหน่วยความจำ (in-memory engine) เพื่อวิเคราะห์โดยใช้การคำนวณซ้ำ

รวมทั้งปริมาณข้อมูลที่เข้ามามากๆ ในแต่ละวันควรให้ความสำคัญต่อข้อมูลอักษรด้วย (text data) เนื่องจากจำนวนข้อมูลในคลัสเตอร์เทคโนโลยี Hadoop ทั่วไป เป็น text data ดังนั้นการเก็บไฟล์ข้อมูลจึงมีแบบข้อมูลกึ่งมีโครงสร้าง และแบบไม่มีโครงสร้าง คุณประโยชน์สำคัญคือการใช้ข้อมูลทั้งหมดเพื่อสร้างความได้เปรียบให้กับองค์กร เพื่อให้ได้ภาพที่สมบูรณ์ยิ่งขึ้นว่ากำลังเกิดอะไรขึ้นกับลูกค้าของคุณ การดำเนินงาน และอื่นๆ เนื่องจากบริษัทบางแห่งเขียน Custom code เพื่อแยกข้อมูลสารสนเทศออกมาจากข้อมูลอักษร และบางบริษัทใช้การวิเคราะห์ข้อความตัวอักษะเชิงพาณิชย์ (commercial text analytics)ตลอดจนการประมวลผลภาษาธรรมชาติ และเทคนิคทางสถิติในการแยกข้อมูลและจัดโครงสร้างข้อมูลตัวอักษรเพื่อให้สามารถนำมาผสานรวมกับข้อมูลแบบมีโครงสร้างที่มีอยู่

นายทวีศักดิ์ แสงทอง กรรมการผู้จัดการ บริษัท แซส ซอฟท์แวร์ (ไทยแลนด์) จำกัด กล่าวว่า สำหรับเทคโนโลยี SAS Visual Analytics เป็นสถาปัตยกรรมที่คำนวณผลในลักษณะของ In-Memory Analytics ซึ่งถูกออกแบบมาเพื่อช่วยให้ผู้ใช้เรียกดูข้อมูลได้ง่ายดายจากการแสดงผลข้อมูลขนาดใหญ่ หรือบิ๊ก ดาต้า ในเชิงลึกแบบกราฟิกได้อย่างรวดเร็วแบบเรียลไทม์ได้ในทุกที่ นับเป็นเทคนิคการวิเคราะห์ข้อมูลขั้นสูง และด้วยผลลัพธ์ที่ได้ถูกนำไปรวมไว้ในกระบวนการทางธุรกิจ เพื่อช่วยในการตัดสินใจ หรือรู้จักกันในชื่อ “in – Hadoop scoring”  นั่นคือก้าวที่สำคัญอย่างมากในโครงการด้านการวิเคราะห์ข้อมูล เพราะเมื่อมีข้อมูลใหม่เข้าไปในระบบเทคโนโลยี Hadoop คุณสมบัติของระบบ stored-model scoring files ใน MapReduce ก็จะทำการรันตัวแบบให้คะแนน (Scoring model) และทำงานให้ได้ผลลัพธ์ออกมาภายในเวลาอันรวดเร็ว

นอกจากนี้ทักษะของการทำงานก็มีความสำคัญด้วย เพราะการทำงานในระบบเทคโนโลยีHadoop  จำเป็นต้องมีทักษะพิเศษสำหรับการวิเคราะห์ Big Data ซึ่งปัจจุบันจะเห็นว่านักวิเคราะห์ข้อมูลขั้นสูง (Data Scientist) เริ่มมีบทบาทมากขึ้นในฐานะผู้ที่คอยผสานรวมทักษะที่แตกต่างในเรื่องของเทคโนโลยีใหม่ๆ ที่เข้ามา ซึ่งจำเป็นมากสำหรับองค์กรที่มีการวิเคราะห์ Big Data รวมทั้งการสื่อสารข้อมูลที่ซับซ้อน เพื่อการนำไปใช้ในทางปฏิบัติตามเป้าหมายที่วางไว้

Latest

สร้างภาพ AI บนวินโดวส์ + การ์ดจอ AMD ด้วย Amuse AI

คนใช้การ์ดจอ AMD จะมีความเป็นลูกเมียน้อยอยู่นิดนึง เพราะโปรแกรมและโมเดลสร้างภาพส่วนใหญ่ จะออกแบบมาให้ใช้กับ CUDA ของ Nvidia เป็นหลัก แต่ต่อไปนี้คนใช้...

ใช้ windows 11 อย่างเซียน ด้วย PowerToys (ฟรี)

PowerToys เป็นชุดเครื่องมือฟรีจาก Microsoft ที่ถูกออกแบบมาเพื่อเพิ่มประสิทธิภาพในการทำงานของผู้ใช้ Windows โดยเฉพาะ Windows 11 ซึ่ง...

หยอดปุกรอ!! 4 รถแบรนด์ดัง พลังงานไฮโดรเจน น่าจับตาปี 2023

สำหรับปี 2023 เป็นต้นไปนี้ เราจะเห็นรถพลังงานไฮโดรเจนเปิดตัวมากขึ้น ดูเหมือนทุกค่ายจะซุ่มทำรถไฮโดรเจนของตัวเอง แล้วเหมือนจะนัดกันเปิดตัวในปีนี้พร้อมๆ กัน

Windows Search ห่วย ใช้ Listary ช่วยคุณได้

คิดว่าหลายคนที่ใช้วินโดวส์เป็นหลัก น่าจะรู้สึกเหมือนผม คือรำคาญระบบค้นหา หรือช่อง search ของวินโดวส์ เพราะช้า แถมหาอะไรก็ไม่ค่อยเจอ ...

Newsletter

Don't miss

สร้างภาพ AI บนวินโดวส์ + การ์ดจอ AMD ด้วย Amuse AI

คนใช้การ์ดจอ AMD จะมีความเป็นลูกเมียน้อยอยู่นิดนึง เพราะโปรแกรมและโมเดลสร้างภาพส่วนใหญ่ จะออกแบบมาให้ใช้กับ CUDA ของ Nvidia เป็นหลัก แต่ต่อไปนี้คนใช้...

ใช้ windows 11 อย่างเซียน ด้วย PowerToys (ฟรี)

PowerToys เป็นชุดเครื่องมือฟรีจาก Microsoft ที่ถูกออกแบบมาเพื่อเพิ่มประสิทธิภาพในการทำงานของผู้ใช้ Windows โดยเฉพาะ Windows 11 ซึ่ง...

หยอดปุกรอ!! 4 รถแบรนด์ดัง พลังงานไฮโดรเจน น่าจับตาปี 2023

สำหรับปี 2023 เป็นต้นไปนี้ เราจะเห็นรถพลังงานไฮโดรเจนเปิดตัวมากขึ้น ดูเหมือนทุกค่ายจะซุ่มทำรถไฮโดรเจนของตัวเอง แล้วเหมือนจะนัดกันเปิดตัวในปีนี้พร้อมๆ กัน

Windows Search ห่วย ใช้ Listary ช่วยคุณได้

คิดว่าหลายคนที่ใช้วินโดวส์เป็นหลัก น่าจะรู้สึกเหมือนผม คือรำคาญระบบค้นหา หรือช่อง search ของวินโดวส์ เพราะช้า แถมหาอะไรก็ไม่ค่อยเจอ ...

รวม 22 คีย์ลัด Windows Key ที่ทำให้ชีวิตง่ายขึ้นพันเปอร์เซ็นต์

ปุ่ม Windows Key หน้าตาแบบนี้ ไม่ได้มีไว้ใช้แค่เรียกเมนู Start ขึ้นมาเท่านั้นนะครับ แต่ตัวมันใช้เป็นคีย์ลัดสำหรับการการทำงานบนวินโดวส์ได้หลายอย่างมาก วันนี้ผมขอรวบรวมคีย์ลัดของปุ่มนี้...

สร้างภาพ AI บนวินโดวส์ + การ์ดจอ AMD ด้วย Amuse AI

คนใช้การ์ดจอ AMD จะมีความเป็นลูกเมียน้อยอยู่นิดนึง เพราะโปรแกรมและโมเดลสร้างภาพส่วนใหญ่ จะออกแบบมาให้ใช้กับ CUDA ของ Nvidia เป็นหลัก แต่ต่อไปนี้คนใช้ AMD ไม่ต้องน้อยใจอีกต่อไป เพราะ Amuse AI คือโปรแกรมที่ออกแบบมาให้ใช้กับแพลตฟอร์มของ AMD โดยเฉพาะครับ สำหรับการ์ดจอนั้น ทาง Amuse AI แนะนำให้ใช้รุ่น RX 7000 ที่มี...

ใช้ windows 11 อย่างเซียน ด้วย PowerToys (ฟรี)

PowerToys เป็นชุดเครื่องมือฟรีจาก Microsoft ที่ถูกออกแบบมาเพื่อเพิ่มประสิทธิภาพในการทำงานของผู้ใช้ Windows โดยเฉพาะ Windows 11 ซึ่ง PowerToys มีฟีเจอร์หลากหลายที่ช่วยทำให้การทำงานของคุณสะดวกและรวดเร็วขึ้น มาดูว่าแต่ละเครื่องมือมีอะไรบ้างและสามารถใช้ทำอะไรได้บ้าง PowersToys โหลดฟรีจาก Microsoft Store ผู้ใช้วินโดวส์ 11 สามารถเข้าไปโหลดแอปตัวนี้ได้ฟรี จาก Microsoft Store ตามภาพ เมื่อติดตั้งเรียบร้อย PowerToys จะรัน auto...

หยอดปุกรอ!! 4 รถแบรนด์ดัง พลังงานไฮโดรเจน น่าจับตาปี 2023

สำหรับปี 2023 เป็นต้นไปนี้ เราจะเห็นรถพลังงานไฮโดรเจนเปิดตัวมากขึ้น ดูเหมือนทุกค่ายจะซุ่มทำรถไฮโดรเจนของตัวเอง แล้วเหมือนจะนัดกันเปิดตัวในปีนี้พร้อมๆ กัน

LEAVE A REPLY

Please enter your comment!
Please enter your name here