GPT-4 và các LLM tạo ra lượng khí thải carbon khổng lồ: Giải pháp ở vị trí đặt trung tâm dữ liệu

Vào một ngày đủ mát, bạn có thể nhìn thấy khói thải cuồn cuộn thoát ra từ ống xả trên đường cao tốc. Tác động đến môi trường của việc nổ máy ô tô có thể nhìn thấy ngay lập tức và có thể hiểu được. Dù thực tế là việc mở trình duyệt web cũng tạo ra lượng khí thải carbon, song chúng dễ dàng được tách ra khỏi người dùng cuối. Thay vào đó, lượng khí thải đó xuất hiện ở một trung tâm dữ liệu cách xa người dùng hàng dặm.

Khi nói đến trí tuệ nhân tạo (AI), lượng khí thải thậm chí còn tệ hơn.

Các mô hình ngôn ngữ lớn như GPT-4 (nền tảng để ChatGPT hoạt động) được hỗ trợ bởi số lượng lớn GPU, đòi hỏi một lượng điện cực lớn. Song vì OpenAI và các hãng AI khác đã từ chối chia sẻ chi tiết về mô hình ngôn ngữ lớn của họ với các nhà nghiên cứu nên không thể ước tính con số chính xác. Một nhà khoa học Đan Mạch ước tính ChatGPT đã sử dụng từ 1,2 triệu đến 23,4 triệu kWh trong tháng 1.

OpenAI đã không trả lời khi được hỏi về chuyện này.

Tuy nhiên, những con số liên quan đến lượng khí thải rất phức tạp. Điều này phần lớn phụ thuộc vào vị trí của mô hình ngôn ngữ lớn và loại lưới điện cung cấp năng lượng cho trung tâm dữ liệu của nó, cũng như số lượng yêu cầu mà mô hình nhận được từ người dùng trong bất kỳ khoảng thời gian nhất định nào.

Bloom, mô hình ngôn ngữ lớn nguồn mở do hãng Hugging Face thiết kế, đã tiêu thụ 914 kWh điện và tạo ra lượng khí thải carbon là 340 kg trong khoảng thời gian 18 ngày. Trong thời gian này, Bloom đã nhận được 230.768 yêu cầu từ người dùng.

Trong khi đó, ChatGPT đã vượt qua 100 triệu người dùng hàng tháng vào tháng 1 khi đạt tổng cộng 600 triệu lượt truy cập. Trang web ChatGPT đạt tổng cộng 1,4 tỉ lượt truy cập trong tháng 8, theo SimilarWeb.

Kể từ năm 2020, OpenAI đã phát triển các công nghệ generative AI trên một siêu máy tính khổng lồ do Microsoft (nhà tài trợ lớn nhất của hãng) chế tạo, sử dụng 10.000 GPU của Nvidia.

Generative AI là một loại trí tuệ nhân tạo được lập trình để tự động tạo ra nội dung mới, như văn bản, hình ảnh, âm thanh và video. Nó khác với các hệ thống AI khác như máy học sâu (deep learning) hoặc học máy (machine learning) trong việc dự đoán kết quả từ dữ liệu đã có sẵn. Thay vì dựa trên dữ liệu huấn luyện, hệ thống generative AI có khả năng tự tạo ra dữ liệu mới và phong phú hơn.

Ngoài lượng khí thải và mức sử dụng điện bất thường, các trung tâm dữ liệu phải duy trì nhiệt độ rất cụ thể. Hầu hết trung tâm dữ liệu đều bơm một lượng nước khổng lồ để làm mát nhằm duy trì nhiệt độ này.

Trong tháng 7.2022, Microsoft đã bơm 11,5 triệu gallon (6% tổng lượng nước sử dụng trong khu vực) đến các trung tâm dữ liệu ở bang Iowa (Mỹ), chỉ vài tuần trước khi OpenAI hoàn thành khóa đào tạo GPT-4. Lượng nước sử dụng trên toàn cầu của Microsoft đã tăng 34% lên 1,7 tỉ gallon từ năm 2021 đến năm 2022, có thể là do AI.

Giải pháp Iceland

Giải pháp cho vấn đề này về mặt khái niệm thì đơn giản nhưng trên thực tế lại không như vậy. Để AI có thể bền vững, các trung tâm dữ liệu mà chúng sử dụng phải chạy bằng năng lượng xanh và cũng phải tránh tiêu thụ quá mức cả tài nguyên sưởi ấm và làm mát.

Công ty Verne Global (Anh) đang tích cực tham gia vào giải pháp này. Verne Global mở cửa vào năm 2012 với mong muốn cung cấp cho khách hàng một trung tâm dữ liệu có công suất cao và hoàn toàn bền vững. Dominic Ward, Giám đốc điều hành Verne Global, nói với trang TheStreet rằng sứ mệnh đó hoàn toàn phụ thuộc vào vị trí thực tế của trung tâm dữ liệu.

Vì vậy, Verne Global đã mở trung tâm dữ liệu đầu tiên ở Iceland, ngay lập tức tận dụng lợi thế của quốc gia duy nhất trên thế giới cung cấp năng lượng hoàn toàn bằng các nguồn năng lượng bền vững. Nhờ vị trí địa lý, Iceland tận dụng cả năng lượng địa nhiệt và thủy điện, tạo ra hỗn hợp năng lượng bền vững, đáng tin cậy.

Hơn nữa, thời tiết ôn hòa của Iceland khiến Verne Global hoàn toàn không cần thiết phải tiêu thụ lượng nước cần thiết ở những địa điểm khác để giữ cho trung tâm luôn mát mẻ vì đã được giữ mát nhờ ở nước Bắc Âu này.

Dominic Ward cho biết việc xây dựng một trung tâm dữ liệu bền vững ở những địa điểm khác là điều gần như không thể. Những vị trí kém lý tưởng hơn có thể sẽ cần đến năng lượng gió hoặc năng lượng mặt trời, mà cho đến khi các nhà khoa học có thể tìm ra cách lưu trữ năng lượng mặt trời một cách hiệu quả thì vẫn kém tin cậy hơn nhiều so với năng lượng thủy điện và địa nhiệt. Các trung tâm dữ liệu cần một nguồn năng lượng đáng tin cậy.

Theo Dominic Ward, ý tưởng về một trung tâm dữ liệu từ xa thậm chí có thể trở thành lựa chọn liên quan đến sự mở rộng liên tục của các hoạt động dựa trên đám mây.

Ông nói: “Những thách thức trong việc cố gắng thuyết phục mọi người rằng các ứng dụng dữ liệu có thể hoạt động ở một địa điểm xa đã qua lâu rồi”, đồng thời lưu ý đến sự phát triển liên tục của các hệ thống cáp “cho phép dữ liệu di chuyển khắp hành tinh một cách hoàn toàn dự phòng”.

“Vì vậy, mọi thứ đang tiến về phía các ứng dụng dữ liệu có thể tồn tại ở bất cứ đâu trừ khi yêu cầu độ trễ thấp (thời gian chờ đợi ngắn). Tuy nhiên chỉ có một số ít các ứng dụng thực sự đòi hỏi độ trễ thấp như vậy và chúng chỉ chiếm một phần nhỏ so với tổng số”, Dominic Ward cho hay.

Verne Global có thêm các trung tâm dữ liệu ở Phần Lan, London (thủ đô Anh) và đang phát triển một địa điểm khác tại Na Uy.

Dominic Ward cho biết một phần trong quá trình thiết lập của Verne Global không chỉ dừng lại ở việc tìm kiếm vị trí tối ưu cho các trung tâm dữ liệu của mình, mà còn xây dựng trung tâm dữ liệu có khả năng phù hợp được thiết kế để xử lý tính toán dày đặc.

Trung tâm dữ liệu được tạo thành từ các giá đỡ chứa máy chủ và chip. Theo Dominic Ward, một thập kỷ trước, một giá đỡ sử dụng trung bình khoảng 5 đến 10 kilowatt điện. Giờ đây, với chip Nvidia trên mọi máy chủ, các giá đỡ đang sử dụng 30 kilowatt trở lên.

Dominic Ward nói: “Rất ít nơi trên Trái đất có thể thực sự hoạt động hiệu quả cho việc xây dựng, vận hành các trung tâm dữ liệu với mật độ tính toán cao và sử dụng năng lượng mạnh mẽ như hiện nay. Điều này đang tạo ra tình huống phức tạp và khó khăn”.

Khoản tiết kiệm mà Verne Global mang lại không chỉ là trong khía cạnh tác động với khí hậu. Các trung tâm dữ liệu của họ sử dụng ít tài nguyên hơn, giảm chi phí tài chính để vận hành các tiêu tốn nhiều năng lượng này.

Nỗ lực bền vững ở đây là sự tư duy hiệu quả. Khi độ trễ không phải là yếu tố quan trọng, vị trí đặt trung tâm dữ liệu ở đâu trên thế giới trở nên không quan trọng.

Nếu một trung tâm dữ liệu không cần phải ở gần một công ty thì có thể được đặt một cách hiệu quả trong môi trường nơi nó tối ưu hóa năng lượng so với hiệu quả, mang lại khả năng tính toán mạnh mẽ mà không thải nhiều carbon vào khí quyển.