นักพัฒนาชื่อ Joel Z ประสบความสำเร็จในการนำโมเดล Gemini 2.5 Pro มาเล่นเกม Pokemon Blue จนจบเกมได้สำเร็จ ถือเป็นอีกหมุดหมายสำคัญของการนำโมเดล LLM มาใช้เล่นวิดีโอเกม
โครงการนำ LLM มาเล่นเกม Pokemon เริ่มจากโครงการ Claude Plays Pokemon ที่นำโมเดล Claude ของ Anthropic มาเล่นเกม Pokemon Red ของเครื่อง Game Boy โดยให้ Claude อ่านภาพและข้อความบนหน้าจอและควบคุมเกมโดยลำพัง ไม่ต้องมีมนุษย์เข้าช่วย และ Claude ไม่มีความรู้เรื่องเกม Pokemon มาก่อน (นอกเหนือจากคลังข้อมูลปกติของ Claude ที่อาจมีเรื่อง Pokemon บ้าง) แล้วถ่ายทอดให้สาธารณชนดูผ่าน Twitch อย่างไรก็ตาม แม้ Claude พอเล่นเกมได้แต่ยังไม่ประสบความสำเร็จในการเล่นเกมให้จบ
ส่วนโครงการ Gemini Plays Pokemon ได้แรงบันดาลใจมาจากโครงการแรก เปลี่ยนโมเดลเป็น Gemini 2.5 Pro และเปลี่ยนเกมเป็น Pokemon Blue ไม่ให้ซ้ำกัน ถ่ายทอดให้ดูบน Twitch เหมือนกัน ซึ่งล่าสุดเมื่อไม่กี่ชั่วโมงที่ผ่านมา Gemini สามารถเล่นเกม Pokemon Blue จนจบได้เรียบร้อยแล้ว (เอาชนะคู่แข่ง Red ซึ่งเป็นบอสสุดท้ายในเกมได้สำเร็จ)
Sundar Pichai ซีอีโอของ Alphabet โพสต์คลิปฉลองความสำเร็จของโครงการนี้ ส่วน Joel Z เจ้าของโครงการบอกว่าจะลองปล่อย Gemini เล่นเกมไปอีกสักหลายวันเพื่อรอดูว่า Gemini จะทำอะไรต่อบ้าง
What a finish! Gemini 2.5 Pro just completed Pokémon Blue!  Special thanks to @TheCodeOfJoel for creating and running the livestream, and to everyone who cheered Gem on along the way. pic.twitter.com/E2pn3tpfEb
— Sundar Pichai (@sundarpichai) May 3, 2025
เส้นทางความสำเร็จของ Gemini ช่วงปลายเดือนเมษายน ที่ชนะยิม 8 แห่ง และรอไปสู้กับ Elite Four ก่อนไปเจอกับ Red
Gemini 2.5 Pro just got the final 8th badge in Pokemon Blue, incredible pace of progress by the world's most powerful model!!!Next up: victory road and final 4 : ) pic.twitter.com/rlHboOzD65
— Logan Kilpatrick (@OfficialLoganK) April 25, 2025
Comments
Knowledge นี้ทำอะไรต่อได้อีกเยอะเลยนะ นอกเหนือจากเล่นเกมส์ เช่น เอาไว้คีย์ข้อมูลซ้ำๆ ที่ต้องใช้มนุษย์ทำงาน โดยเรียนรู้จากหน้าจอ แล้วให้ AI ป้อนข้อมูลจากแบบฟอร์มที่เป็นกระดาษให้ โดยใช้กล้องตรวจจับ และ OCR ข้อมูลมาแยกช่อง และจำแนกตัวแปร เพื่อ Key ลงบนแบบฟอร์มดิจิทัลบนโปรแกรมสำเร็จรูปที่ไม่ซับซ้อน Gemini มันมีความสามารถในการแยกตัวแปรได้อยู่แล้ว สอนให้มันรู้จักเพิ่มเติมว่าควรคีย์ filed นี้ลงช่องไหนก็ใช้งานได้แล้ว
ขายได้นา มีคนพร้อมซื้อเลยล่ะ แถมรับ Custom เพื่อสอนให้ AI เรียนรู้แบบฟอร์มเฉพาะทางได้อีก
เปรียบเทียบกับ Claude ตรงๆไม่ได้เสียทีเดียวเพราะ Gemini มี mini-map ช่วย
แต่ส่วนที่ยากที่สุดของ Pokemon นี่คือ Battle Tower แต่มันโผล่มาครั้งแรกในภาค Crystal
ต่อไปขอเกมหัวร้อน555
มันมีคนใช้ reinforcement model เอาหน้าถูกำแพงไปจนจบได้ ก็ไม่น่าแปลกที่modelที่ใหญ่กว่ามากจะทำไม่ได้
แล้วรู้สึกสนุกไหม
อยากเห็น AI เล่นเกม หัวถ้วย cup head ไม่ก็เกมหัวร้อนอื่นๆ
นี่ถ้าไปเล่น among us แล้ว AI จะหลอกเราไหมนะ