Để đào tạo các mô hình ngôn ngữ lớn (LLM) cần thiết cho các chatbot trí tuệ nhân tạo (AI) như ChatGPT, Trung Quốc có thể phải dựa vào số lượng thay vì chất lượng GPU (đơn vị xử lý đồ họa) sau khi bị Mỹ chặn mua các chip tiên tiến nhất, theo các doanh nhân và các kỹ sư trong nước.
Đề cập đến LLM là động cơ hơi nước của kỷ nguyên hiện đại, doanh nhân công nghệ AI trong hội đồng của Hiệp hội Trí tuệ Nhân tạo Trung Quốc cho biết ở cuộc hội thảo kín gần đây rằng Mỹ dẫn trước Trung Quốc về sức mạnh điện toán chủ yếu nhờ ưu thế về các GPU, theo trang SCMP. GPU có lợi thế độc đáo trong học máy so với CPU (đơn vị xử lý trung tâm) do cách sử dụng tính toán đồng thời một cách hiệu quả.
“Chúng ta không có GPU mạnh như A100, nhưng có thể tập hợp các GPU kém mạnh hơn để giành chiến thắng nhờ số lượng. Tôi nghĩ rằng sức mạnh tính toán vẫn là một yếu tố rất quan trọng, mang tính quyết định để giành chiến thắng trong cuộc cạnh tranh sau này”, doanh nhân này nhận xét. A100 là chip AI cho trung tâm dữ liệu của Nvidia mà Mỹ đã chặn xuất khẩu sang Trung Quốc.
Doanh nhân trên, giống như những người khác được trích dẫn trong câu chuyện này, yêu cầu không nêu tên vì tính nhạy cảm của chủ đề.
Kể từ khi OpenAI ra mắt ChatGPT vào tháng 11.2022, mức độ phổ biến đáng kinh ngạc của chatbot này dẫn đến cuộc chạy đua giữa các hãng công nghệ lớn để phát triển các phiên bản sản phẩm generative AI của riêng họ. Điều này đã mở rộng sang Trung Quốc, nơi công ty tìm kiếm internet Baidu, chủ sở hữu ứng dụng TikTok - ByteDance, gã khổng lồ về truyền thông xã hội và game Tencent Holdings và hãng khổng lồ thương mại điện tử Alibaba đều tham gia cuộc đua.
Generative AI là một loại trí tuệ nhân tạo mà máy tính được lập trình để tự động tạo ra nội dung mới, như văn bản, hình ảnh, âm thanh và video. Nó khác với các hệ thống AI khác như máy học sâu (deep learning) hoặc học máy (machine learning) trong việc dự đoán kết quả từ dữ liệu đã có sẵn. Thay vì dựa trên dữ liệu huấn luyện, hệ thống generative AI có khả năng tự tạo ra dữ liệu mới và phong phú hơn. Các ví dụ của generative AI bao gồm các mô hình ngôn ngữ tự động tạo văn bản, các hệ thống nhận dạng hình ảnh, video và âm thanh.
Tuy nhiên, các chuyên gia đã cảnh báo rằng Trung Quốc phải đối mặt với một số trở ngại lớn trong việc tạo ra chatbot tương tự như ChatGPT. Sản phẩm này có thể bị cản trở bởi sự kiểm duyệt hoặc các hạn chế ngày càng tăng với việc tiếp cận các chất bán dẫn tiên tiến. Khi nói đến chip được sử dụng để đào tạo AI, GPU là thành phần chính.
Theo TrendForce (công ty nghiên cứu thị trường và dự báo xu hướng công nghệ trụ sở tại Đài Loan), việc triển khai một số lượng lớn GPU hiệu suất cao giúp rút ngắn thời gian đào tạo generative AI, đòi hỏi phải sàng lọc lượng dữ liệu khổng lồ.
Trong trường hợp mô hình GPT (Generative Pre-training Transformer) cung cấp sức mạnh cho ChatGPT, số lượng tham số đào tạo tăng từ khoảng 120 triệu vào năm 2018 lên gần 180 tỉ vào năm 2020, TrendForce ước tính. GPT là một mô hình tạo văn bản AI do Alec Radford (nhà nghiên cứu AI) viết, sau đó được OpenAI phát triển.
“Số lượng GPU cần thiết để thương mại hóa mô hình GPT (hay ChatGPT) dự kiến sẽ trên 30.000”, TrendForce cho biết trong ghi chú, đưa ra ước tính giả định việc sử dụng A100 của Nivida.
CPU và GPU tiên tiến của các nhà phát triển hàng đầu như Intel, AMD và Nvidia được sử dụng rộng rãi trong số các nhà cung cấp dịch vụ đám mây AI của Trung Quốc.
Tại Hội nghị các nhà phát triển AI toàn cầu ở thành phố Thượng Hải tuần trước, một số chuyên gia lo ngại tham vọng tạo chatbot AI tương tự ChatGPT của các hãng công nghệ lớn Trung Quốc có thể bị cản trở do thiếu chip cung cấp sức mạnh tính toán khổng lồ cần thiết để hỗ trợ các mô hình AI tinh vi.
“Nếu Trung Quốc muốn tạo ChatGPT của riêng mình, chúng ta cần hàng chục ngàn chip Nvidia A100 để cung cấp sức mạnh tính toán cần thiết”, Zheng Weimin, giáo sư Đại học Thanh Hoa trực thuộc Học viện Kỹ thuật Trung Quốc, cho hay.
Theo Yang Fan, đồng sáng lập và Phó chủ tịch của SenseTime (công ty phần mềm AI hàng đầu Trung Quốc bị Mỹ trừng phạt thương mại kể từ năm 2019), giá chip A100 đã tăng 50% trong hai tuần qua do sự náo nhiệt xung quanh ChatGPT.
“Trung Quốc vẫn chưa thể sản xuất chip và phần mềm có thể hỗ trợ ít nhất 50 đến 70% công suất tính toán cần thiết để chạy ChatGPT”, Yang Fan nhấn mạnh.
Vào tháng 8.2022, Mỹ đã cấm Nvidia bán A100 và H100, hai GPU trung tâm dữ liệu mạnh mẽ, cho các khách hàng ở Trung Quốc nếu không có giấy phép, như một phần trong nỗ lực từ Mỹ nhằm giảm khả năng tiếp cận của Trung Quốc với các chip tiên tiến.
Nvidia sau đó cho biết có một dòng sản phẩm thay thế với thông số kỹ thuật thấp hơn dành cho khách hàng Trung Quốc. Đó là A800 với hiệu suất đã được hạ thấp để đáp ứng các yêu cầu xuất khẩu. Chip đó có đủ sức mạnh tính toán để đáp ứng nhu cầu của hầu hết khách hàng, theo Giám đốc bán hàng tại Sitonholy, đối tác của Nvidia tại Trung Quốc chuyên cung cấp các giải pháp cho máy chủ AI và các thiết bị điện toán công suất cao khác.
“Hệ sinh thái GPU của Trung Quốc không đủ mạnh. Nhiều nhà cung cấp GPU vẫn đang đánh giá hiệu suất các sản phẩm của họ so với Nvidia V100”, ông nói. V100 là GPU trung tâm dữ liệu mà Nvidia đã phát hành vào năm 2017.
Ngay cả khi các hãng chip Trung Quốc có thể thiết kế GPU phức tạp như A100, việc sản xuất chúng là trở ngại khác do các lệnh trừng phạt hiện tại của Mỹ.
Một giám đốc tại Xi’an UnilC Semiconductors Co, công ty con của tập đoàn chip Tsinghua Unigroup (Trung Quốc), cũng lưu ý về những thách thức trong việc tiếp cận các công nghệ sản xuất chip tiên tiến.
“Tape-out (quá trình chế tạo thử nghiệm trước khi sản xuất hàng loạt) có thể phải đối mặt với những hạn chế nếu sức mạnh tính toán của một số chip AI và GPU nhất định vượt quá giới hạn được thiết lập bởi Mỹ. Trước đây, Trung Quốc có cơ hội nâng cấp quy trình sản xuất chip của mình lên 5 nanomet hoặc 7 nanomet, nhưng những hạn chế với các công cụ tiên tiến khiến điều này trở nên rất khó khăn”, ông cho hay.
Vào tháng 10.2022, Mỹ đã tăng cường đáng kể các quy tắc kiểm soát xuất khẩu của mình với mục đích hạn chế hơn nữa khả năng tiếp cận của Trung Quốc với một số chất bán dẫn cao cấp và công cụ sản xuất chip tiên tiến giúp sản xuất chip trong nước.
Mỹ cũng sử dụng "quy định cánh tay dài" để ngăn các nhà máy bán dẫn dùng các công nghệ nguồn gốc từ Mỹ để sản xuất các chip có thể thực hiện hơn 4.800 ngàn tỉ phép tính mỗi giây cho khách hàng Trung Quốc.
Trung Quốc vẫn phụ thuộc rất nhiều vào phần mềm, công cụ và công nghệ nhập khẩu khác để thiết kế và sản xuất chip trong nước, gồm cả phụ thuộc vào cả quy trình sản xuất nút trưởng thành và tiên tiến khó giảm trong thời gian ngắn.
Tuy nhiên, một kỹ sư cấp cao của Nvidia cho biết việc phát triển GPU không phải là "ma thuật đen tối", nên Trung Quốc có cơ hội bắt kịp các công nghệ giống ChatGPT.