Tìm hiểu về TOPS: Chìa khóa đánh giá hiệu suất laptop mà bạn không thể bỏ qua
Hãy sẵn sàng khám phá những thuật ngữ cũ để đánh giá hiệu suất AI của các thiết bị hiện đại.
Công nghệ mới luôn đi kèm với hàng loạt thuật ngữ mới, và cuộc cách mạng AI đang khiến các nhà sản xuất chip cũng như máy tính không ngừng nhắc đến một khái niệm: TOPS. Dù việc hiểu rõ TOPS không phải là yếu tố then chốt để nắm bắt cách các công cụ AI hoạt động hoàn toàn trên điện thoại, máy tính hoặc xử lý kết hợp giữa đám mây và cục bộ, nhưng đây có thể là một chỉ số hữu ích khi bạn chọn mua thiết bị, tương tự như cách bạn xem xét lực mô-men xoắn khi mua xe hơi, tốc độ MB/s khi chọn thiết bị lưu trữ, hay tần số GHz khi mua CPU. Tất nhiên, không có sự so sánh nào là hoàn toàn chính xác, đặc biệt khi công nghệ đang thay đổi với tốc độ chóng mặt.
1. TOPS là gì?
TOPS là viết tắt của Tera Operations Per Second hoặc Trillion Operations Per Second – cả hai đều mang ý nghĩa “nghìn tỷ phép toán mỗi giây.” “Tera” là tiền tố đại diện cho “nghìn tỷ,” còn các phép toán ở đây là các phép tính số nguyên 8-bit (INT8), tức là kiểu dữ liệu và phép toán mà bộ xử lý thần kinh (NPU) trên chip sử dụng để tăng tốc AI.
Vì TOPS là một đơn vị đo tốc độ, bạn thường thấy thông số này xuất hiện cùng với các bộ xử lý thần kinh (NPU) mới được tích hợp trên laptop và điện thoại. NPU ít quan trọng hơn trên máy tính để bàn vì chúng chủ yếu dành cho các thiết bị cần tiết kiệm năng lượng. Mặc dù chậm hơn so với GPU (bộ xử lý đồ họa) – cả GPU tích hợp trên chip hoặc GPU rời đều có thể thực hiện các phép toán số nguyên – nhưng NPU lại tiêu tốn ít năng lượng hơn rất nhiều.
Ngoài ra, NPU được thiết kế để xử lý các mô hình AI trực tiếp trên thiết bị thay vì dựa vào đám mây, nhằm giảm chi phí. Như một giám đốc điều hành đã nói về việc vận hành AI cơ bản trên đám mây: “ai đó phải trả tiền cho những máy chủ đó.” Đồng thời, việc này giúp các nhà sản xuất xoa dịu lo ngại của người dùng về quyền riêng tư và bảo mật với cam kết: “mọi thứ chỉ chạy trên thiết bị, không được tải lên!”
Tuy nhiên, khi được các nhà sản xuất công bố, TOPS thường ám chỉ hiệu suất lý thuyết cao nhất, nên bạn sẽ thường thấy thông số được mô tả với cụm từ “lên đến” một mức nào đó. Giống như GHz đối với CPU, thông số này được sử dụng để gợi ý mức hiệu suất mà con chip có thể đạt được. Trong các tình huống so sánh trực tiếp, chip có chỉ số TOPS cao hơn thường sẽ xử lý các tác vụ AI nhanh hơn, và điều này có thể tạo ra sự khác biệt lớn về tính tiện ích và độ phản hồi của các công cụ AI, như nhận diện hình ảnh, tạo văn bản hoặc nhiều công nghệ AI hỗ trợ khác.
2. Hiệu suất NPU
Chỉ số TOPS của NPU (tối đa)
| Intel Core Ultra (2023) | 11.5 |
| AMD Ryzen 8040 series (2023) | 16 |
| Apple M3 series (2023) | 18 |
| Apple M4 (2024) | 38 |
| Snapdragon X series (2024) | 45 |
| Intel Lunar Lake (2024) | 48 |
| AMD 300 series (2024) | 50 |
3. Vì sao TOPS đột nhiên trở nên quan trọng?
TOPS trở thành một yếu tố đáng chú ý khi Microsoft và Qualcomm ra mắt nền tảng Copilot Plus của Microsoft dành cho Windows, nơi 40 TOPS của NPU trở thành mốc giới hạn. Điều này khiến mọi chip laptop tiêu dùng đời cũ đều không đủ tiêu chuẩn để hỗ trợ nền tảng này. Lý do là bởi các máy tính Copilot Plus sử dụng một tập hợp giao diện lập trình (API) trong Windows để tăng tốc các tính năng cơ bản liên quan đến AI và các mô hình chạy trên thiết bị, không chỉ dành riêng cho Windows mà còn cho phần mềm của các nhà phát triển khác. Các hệ thống đầu tiên hỗ trợ nền tảng này sử dụng chip Snapdragon X Elite và X Plus của Qualcomm, với NPU Hexagon tùy chỉnh có khả năng đạt tối đa 45 TOPS.
Chỉ trong vòng chưa đầy một tháng kể từ khi Qualcomm ra mắt sản phẩm này, đã có thông tin về các CPU AMD Ryzen AI 300 series (dự kiến ra mắt tháng 7) và Intel Lunar Lake (dự kiến quý 3) với NPU được tái cấu trúc. Những NPU này sử dụng một loại dữ liệu gọi là block floating point (block FP), kết hợp hiệu quả giữa dạng nén của số thực dấu phẩy động 16-bit (16-bit floating point) – kiểu dữ liệu cho phép lưu trữ và xử lý các con số lớn hoặc nhỏ hơn nhiều so với INT8 – và chính INT8.
Điều này giúp hiệu suất NPU tăng lên mức đủ đáp ứng tiêu chuẩn của Copilot Plus. Apple M4 cũng được nâng cấp lên phiên bản mới nhất của nhân Arm, vốn cũng sử dụng block FP, nhờ đó cải thiện đáng kể so với Apple M3.
(Tham khảo giải thích của Nvidia về “sparsity” – liên quan đến toán ma trận được thực hiện bởi các nhân Tensor. Mặc dù không giống block FP, nhưng nó cung cấp một ví dụ về cách hoạt động của cơ chế nén dữ liệu.)
4. Vượt ra ngoài Copilot Plus
Mặc dù chỉ số TOPS của NPU sẽ hữu ích để đánh giá tốc độ chạy các tính năng của Microsoft Copilot (như Recall), nhưng đây không phải là yếu tố quyết định hoàn toàn hiệu suất. Không phải mọi quy trình AI đều có thể sử dụng toán học số nguyên (integer math) một cách hiệu quả, vì vậy chỉ số INT8 TOPS chủ yếu phản ánh tốc độ xử lý các tác vụ cơ bản của chip. Nó không bao gồm những tác vụ AI tiên tiến, chẳng hạn như tạo ra hình ảnh hoặc video chi tiết từ các lệnh văn bản.
Thực tế, các bộ xử lý đồ họa chuyên dụng (GPU) hiện nay có thể đạt tốc độ cao hơn rất nhiều. Các GPU thuộc dòng Nvidia RTX 40-series thậm chí có thể đạt hàng trăm TOPS, ngay cả ở các phiên bản di động cấp thấp. CPU cũng có khả năng xử lý toán học này, nhưng tốc độ sẽ chậm hơn đáng kể so với NPU trong một số trường hợp.
Do đó, TOPS dần được thay thế bằng khái niệm platform TOPS, một chỉ số ấn tượng hơn về mặt tiếp thị. Platform TOPS là tổng hiệu suất của tất cả các bộ xử lý trong hệ thống, bao gồm: CPU, NPU và GPU. Tuy nhiên, cần lưu ý rằng giá trị này có thể thay đổi đáng kể tùy thuộc vào việc hệ thống đang sử dụng nguồn điện hay pin.
Ngược lại, nếu một hệ thống có chỉ số platform TOPS cao nhưng lại thiếu NPU, điều này đồng nghĩa với việc hệ thống đó không hỗ trợ các tính năng Copilot Plus trên Windows – ít nhất là trong thời điểm hiện tại.
Ngoài ra, GPU có thể xử lý nhiều kiểu dữ liệu khác nhau, và hầu hết các công cụ AI tiên tiến đều được phát triển dựa trên toán học dấu phẩy động (floating point math). Nếu một công cụ phụ thuộc vào các phép toán dấu phẩy động (FP16 và FP32), bạn sẽ cần chú ý đến chỉ số TFLOPS (trillion/tera floating point operations). Còn với các CPU hiện đại, các phần mở rộng ma trận (matrix extensions) đã được tích hợp để thực hiện các tác vụ tương tự như nhân Tensor chuyên dụng.
Cả hai chỉ số này đều quan trọng hơn nhiều đối với các tác vụ phức tạp như đào tạo mô hình (training models) thay vì chỉ chạy mô hình (inference). Vì vậy, chúng ta có thể kỳ vọng rằng cách đo lường hiệu suất AI của PC sẽ tiếp tục thay đổi trước khi người dùng kịp làm quen với những tiêu chuẩn hiện tại.
Kết luận
TOPS không chỉ là một thuật ngữ kỹ thuật mà còn là một thước đo quan trọng để đánh giá hiệu suất của laptop trong kỷ nguyên AI hiện đại. Việc hiểu rõ về chỉ số này sẽ giúp bạn lựa chọn được những thiết bị phù hợp, tối ưu cho công việc và giải trí, đặc biệt khi các ứng dụng AI ngày càng đóng vai trò thiết yếu trong cuộc sống hàng ngày.
Nếu bạn đang tìm kiếm một chiếc laptop hiệu năng cao với NPU tối tân đáp ứng tốt các yêu cầu AI, hãy ghé thăm Cohotech – cửa hàng chuyên cung cấp laptop chính hãng, đa dạng mẫu mã, cùng dịch vụ tư vấn tận tâm và hậu mãi chu đáo. Đội ngũ tại Cohotech sẽ giúp bạn tìm được chiếc máy hoàn hảo nhất!
Đừng quên để lại ý kiến của bạn về bài viết này trong phần bình luận. Nếu thấy thông tin hữu ích, hãy chia sẻ bài viết đến bạn bè và người thân để cùng nhau khám phá thêm những kiến thức thú vị. Cảm ơn bạn đã đồng hành cùng chúng tôi!
214 Tân Phước, Phường 6, Quận 10, TPHCM