Dataset distillation là gì? Tổng quan nhanh

Huấn luyện model có vẻ là phần tốn thời gian nhất trong công việc của một chuyên gia dữ liệu. Tuy nhiên, phần lớn thời gian của họ, thường từ 60% đến 80%, thực tế lại dành cho việc chuẩn bị dữ liệu: thu thập, làm sạch và tổ chức dữ liệu để phục vụ cho việc modeling. Khi các dataset ngày càng lớn, thời gian chuẩn bị cũng tăng lên, làm chậm quá trình thử nghiệm và khiến việc lặp lại (iteration) trở nên khó khăn hơn.

Để giải quyết vấn đề này, các nhà nghiên cứu đã dành nhiều năm tìm cách tối ưu hóa quá trình huấn luyện. Các phương pháp như dữ liệu tổng hợp (synthetic data), nén dataset và các kỹ thuật tối ưu hóa tốt hơn đều nhằm mục đích giảm chi phí và rào cản khi làm việc với các dataset quy mô lớn, đồng thời tăng tốc các workflow machine learning.

Một câu hỏi quan trọng được đặt ra là liệu chúng ta có thể thu nhỏ đáng kể một dataset mà vẫn đạt được hiệu suất tương đương như khi huấn luyện model trên toàn bộ dữ liệu hay không. Dataset distillation là một lời giải đầy hứa hẹn.

Nó tạo ra một phiên bản gọn nhẹ của một dataset huấn luyện lớn trong khi vẫn bảo tồn các mô hình (patterns) thiết yếu mà model cần để học một cách hiệu quả. Nó mở ra con đường giúp huấn luyện nhanh hơn, giảm nhu cầu tính toán và thử nghiệm hiệu quả hơn. Bạn có thể coi nó như một "tài liệu ôn thi" rút gọn cho model, một tập hợp nhỏ các ví dụ dữ liệu tổng hợp được thiết kế để dạy cùng những pattern cốt lõi như dataset đầy đủ.

Trong bài viết này, chúng ta sẽ khám phá cách hoạt động của dataset distillation và cách nó hỗ trợ machine learning cũng như deep learning có khả năng mở rộng trên các ứng dụng thực tế. Hãy bắt đầu thôi!

Link to this sectionTìm hiểu về dataset distillation#

Dataset distillation là quá trình trong đó một dataset huấn luyện lớn được cô đọng thành một tập hợp dữ liệu nhỏ hơn nhiều nhưng vẫn truyền tải cho model gần như cùng một thông tin như dataset gốc. Nhiều nhà nghiên cứu cũng gọi quá trình này là dataset condensation vì mục tiêu là nắm bắt các pattern thiết yếu xuất hiện trong toàn bộ dataset.

Một distilled dataset khác biệt với dữ liệu tổng hợp được tạo ngẫu nhiên hoặc việc chỉ đơn giản là chọn ra một tập con nhỏ các ảnh thực tế. Nó không phải là một tập dữ liệu giả ngẫu nhiên hay một bản sao bị cắt gọt của dữ liệu gốc.

Thay vào đó, nó được tối ưu hóa một cách có chủ đích để nắm bắt những pattern quan trọng nhất. Trong quá trình này, từng pixel và feature đều được điều chỉnh và tối ưu hóa sao cho một neural network được huấn luyện trên distilled data sẽ học gần như tương đương với khi được huấn luyện trên toàn bộ dataset.

Ý tưởng này lần đầu tiên xuất hiện trong một bài báo trên arXiv năm 2018 bởi Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba và Alexei A. Efros. Các thử nghiệm ban đầu sử dụng những dataset đơn giản như MNIST và CIFAR-10, giúp dễ dàng chứng minh rằng một vài distilled sample có thể thay thế cho hàng ngàn ảnh thật.

Hình 1. Sử dụng dataset distillation cho dữ liệu ảnh (Nguồn)

Kể từ đó, các nghiên cứu tiếp theo đã thúc đẩy dataset distillation tiến xa hơn, bao gồm các phương pháp được công bố tại ICML và ICLR giúp cho quá trình condensation trở nên hiệu quả và dễ mở rộng hơn.

Link to this sectionTầm quan trọng của dataset distillation#

Dataset distillation cải thiện hiệu suất huấn luyện và làm cho các chu kỳ phát triển nhanh hơn. Bằng cách giảm lượng dữ liệu mà model cần học, nó làm giảm đi yêu cầu về tính toán.

Điều này đặc biệt hữu ích cho continual learning, nơi các model cập nhật theo thời gian; neural architecture search, nơi nhiều thiết kế model được kiểm thử; và edge training, nơi các model chạy trên thiết bị nhỏ với bộ nhớ và năng lượng hạn chế. Nhìn chung, những lợi ích này làm cho dataset distillation trở thành một lựa chọn tuyệt vời cho việc khởi tạo nhanh, fine-tuning nhanh và xây dựng các bản mẫu (prototypes) ban đầu trên nhiều workflow machine learning.

Link to this sectionTổng quan về cách thức hoạt động của dataset distillation#

Dataset distillation tạo ra các sample huấn luyện tổng hợp (nhân tạo). Các sample này giúp model học theo cách tương tự như khi huấn luyện trên dữ liệu thật. Nó hoạt động bằng cách theo dõi ba yếu tố chính trong quá trình huấn luyện thông thường.

Thứ nhất là loss function, chính là điểm số lỗi của model cho thấy các dự đoán của nó sai lệch như thế nào. Thứ hai là model parameters, đó là các trọng số nội tại của network được cập nhật khi model học.

Thứ ba là training trajectory, mô tả cách lỗi và trọng số thay đổi từng bước theo thời gian. Các sample tổng hợp sau đó được tối ưu hóa sao cho khi model huấn luyện trên chúng, lỗi của nó giảm xuống và trọng số cập nhật theo cách tương tự như khi dùng dataset đầy đủ.

Link to this sectionCái nhìn chi tiết từng bước về dataset distillation#

Dưới đây là cái nhìn chi tiết hơn về cách thức hoạt động của quy trình dataset distillation:

• Bước 1 - Khởi tạo các pixel tổng hợp: Quá trình bắt đầu với các ảnh tổng hợp đóng vai trò là input có thể học được. Ban đầu, những ảnh này có rất ít cấu trúc và trông giống như những tờ giấy trắng. Theo thời gian, chúng được tối ưu hóa thành các ví dụ giàu thông tin.
• Bước 2 - Tối ưu hóa bằng gradient matching và backpropagation: Khi model huấn luyện trên các ảnh tổng hợp này, nó tạo ra các gradient chỉ ra cách mỗi pixel nên thay đổi để khớp hơn với hành vi huấn luyện của dữ liệu thật. Backpropagation là phương pháp network sử dụng để học từ sai lầm. Nó gửi tín hiệu lỗi ngược lại qua model để tìm ra pixel và trọng số nào gây ra lỗi đó, sau đó cập nhật chúng một chút. Sử dụng các gradient đó, backpropagation điều chỉnh các ảnh tổng hợp từng bước một để chúng trở nên giàu thông tin hơn cho quá trình huấn luyện.
• Bước 3 - Khớp hành vi qua các bước huấn luyện: Phương pháp này cũng khớp các training trajectory, nghĩa là các thay đổi từng bước mà model trải qua khi học. Điều này đảm bảo distilled dataset hướng dẫn model đi theo một lộ trình học tập tương tự như lộ trình nó sẽ đi với dataset đầy đủ.
• Bước 4 - Xác thực và tổng quát hóa (Validation and generalization): Cuối cùng, distilled dataset được đánh giá trên dữ liệu validation thực tế để xem model đã huấn luyện hoạt động tốt như thế nào trên các ví dụ mới. Điều này kiểm tra xem dữ liệu tổng hợp có dạy các pattern rộng, mang tính chức năng hay không, thay vì làm cho model ghi nhớ (memorize) các sample cụ thể.

Hình 2. Cái nhìn về dataset distillation (Nguồn)

Link to this sectionCác phương pháp luận quan trọng của dataset distillation#

Tất cả các phương pháp dataset distillation đều được xây dựng trên cùng một ý tưởng cốt lõi, ngay cả khi chúng sử dụng các thuật toán khác nhau để đạt được mục tiêu đó. Hầu hết các phương pháp tiếp cận đều thuộc ba loại: performance matching, distribution matching và parameter matching.

Tiếp theo, hãy cùng xem xét từng phương pháp và cách chúng hoạt động.

Link to this sectionPerformance matching#

Performance matching trong dataset distillation tập trung vào việc tạo ra một tập huấn luyện nhỏ, được tối ưu hóa, cho phép model đạt được độ chính xác gần như tương đương với khi được huấn luyện trên toàn bộ dataset gốc. Thay vì chọn một tập con ngẫu nhiên, các sample được distillation sẽ được tối ưu hóa sao cho model huấn luyện trên chúng cuối cùng sẽ có kết quả dự đoán tương tự, hành vi mất mát (loss behavior) tương tự trong khi huấn luyện, hoặc độ chính xác cuối cùng tương tự như model được huấn luyện trên dataset gốc.

Meta learning là một phương pháp phổ biến được sử dụng để cải thiện quy trình này. Distilled dataset được cập nhật qua các đợt huấn luyện lặp đi lặp lại, nhờ đó nó trở nên hiệu quả trong nhiều tình huống có thể xảy ra.

Trong các đợt này, phương pháp mô phỏng cách một model học viên (student model) học từ các sample distillation hiện tại, kiểm tra xem học viên đó hoạt động tốt như thế nào trên dữ liệu thật, sau đó điều chỉnh các sample distillation để trở thành những người dạy tốt hơn. Theo thời gian, distilled set học được cách hỗ trợ việc học nhanh và tổng quát hóa mạnh mẽ, ngay cả khi student model bắt đầu từ các trọng số khởi tạo khác nhau hoặc sử dụng kiến trúc khác. Điều này làm cho distilled dataset đáng tin cậy hơn và không bị phụ thuộc vào một đợt huấn luyện duy nhất.

Hình 3. Quy trình meta-learning (Nguồn)

Link to this sectionCác kỹ thuật distribution matching#

Trong khi đó, distribution matching tạo ra dữ liệu tổng hợp khớp với các pattern thống kê của dataset thực tế. Thay vì chỉ tập trung vào độ chính xác cuối cùng của model, phương pháp này tập trung vào các feature nội tại mà neural network tạo ra trong quá trình học.

Tiếp theo, hãy cùng xem xét hai kỹ thuật thúc đẩy distribution matching.

Link to this sectionSingle-layer distribution matching#

Single-layer distribution matching tập trung vào một layer duy nhất của neural network và so sánh các feature mà nó tạo ra cho dữ liệu thật so với dữ liệu tổng hợp. Các feature đó, còn được gọi là các activation, nắm bắt những gì model đã học được tại thời điểm đó trong network.

Bằng cách làm cho dữ liệu tổng hợp tạo ra các activation tương tự, phương pháp này khuyến khích distilled dataset phản ánh cùng những pattern quan trọng như dataset gốc. Trong thực tế, các sample tổng hợp được cập nhật liên tục cho đến khi các activation tại layer đã chọn khớp gần đúng với những gì từ ảnh thật.

Phương pháp này tương đối đơn giản vì nó chỉ căn chỉnh một cấp độ biểu diễn tại một thời điểm. Nó có thể hoạt động đặc biệt hiệu quả trên các dataset nhỏ hơn hoặc các tác vụ không cần thiết phải khớp các phân cấp feature sâu, đa tầng. Bằng cách căn chỉnh rõ ràng một không gian feature, single-layer matching cung cấp một tín hiệu ổn định và ý nghĩa để học với distilled dataset.

Link to this sectionMulti-layer distribution matching#

Multi-layer distribution matching xây dựng trên ý tưởng so sánh dữ liệu thật và dữ liệu tổng hợp bằng cách thực hiện việc đó tại nhiều layer của neural network thay vì chỉ một. Các layer khác nhau nắm bắt các loại thông tin khác nhau, từ các cạnh và kết cấu đơn giản ở các layer đầu đến hình dạng và các pattern phức tạp hơn ở các layer sâu hơn.

Bằng cách khớp các feature qua các layer này, distilled dataset được thúc đẩy để phản ánh những gì model học được ở nhiều cấp độ. Vì nó căn chỉnh các feature trong toàn bộ network, phương pháp này giúp dữ liệu tổng hợp bảo tồn các tín hiệu phong phú hơn mà model dựa vào để phân biệt các class.

Điều này đặc biệt hữu ích trong computer vision, nghĩa là các tác vụ mà model học cách hiểu ảnh và video, vì các pattern hữu ích được lan tỏa qua nhiều layer. Khi phân phối feature khớp tốt tại nhiều độ sâu, distilled dataset đóng vai trò là một sự thay thế mạnh mẽ và đáng tin cậy hơn cho dữ liệu huấn luyện gốc.

Link to this sectionCác phương pháp parameter matching#

Một loại quan trọng khác trong dataset distillation là parameter matching. Thay vì khớp độ chính xác hay phân phối feature, nó khớp cách trọng số của model thay đổi trong quá trình huấn luyện. Bằng cách làm cho việc huấn luyện trên distilled dataset tạo ra các cập nhật tham số tương tự như huấn luyện trên dữ liệu thật, model tuân theo một lộ trình học tập gần như giống hệt.

Chúng ta sẽ xem xét hai phương pháp parameter matching chính tiếp theo đây.

Link to this sectionSingle-step matching#

Single-step matching so sánh điều gì xảy ra với các trọng số của model chỉ sau một bước huấn luyện trên dữ liệu thật. Distilled dataset sau đó được tinh chỉnh sao cho model được huấn luyện trên nó trong một bước tạo ra một cập nhật trọng số rất tương đồng. Vì nó chỉ tập trung vào cập nhật đơn lẻ này, phương pháp này khá đơn giản và chạy nhanh.

Nhược điểm là một bước không phản ánh toàn bộ quy trình học tập, đặc biệt là với các tác vụ khó hơn mà model cần nhiều cập nhật để xây dựng các feature phong phú hơn. Vì lý do đó, single-step matching thường hoạt động tốt nhất trên các vấn đề đơn giản hơn hoặc các dataset nhỏ hơn, nơi các pattern hữu ích có thể được nắm bắt nhanh chóng.

Link to this sectionMulti-step parameter matching#

Ngược lại, multi-step parameter matching xem xét cách trọng số của model thay đổi qua nhiều bước huấn luyện, không chỉ một. Chuỗi cập nhật này chính là training trajectory của model.

Distilled dataset được xây dựng sao cho khi model huấn luyện trên các sample tổng hợp, trajectory của nó bám sát lộ trình mà nó sẽ đi trên dữ liệu thật. Bằng cách khớp một đoạn học tập dài hơn, distilled set nắm bắt được nhiều cấu trúc hơn trong quy trình huấn luyện gốc.

Vì nó phản ánh cách quá trình học diễn ra theo thời gian, multi-step matching thường hoạt động tốt hơn cho các dataset lớn hơn hoặc phức tạp hơn, nơi model cần nhiều cập nhật để nắm bắt các pattern hữu ích. Nó đòi hỏi nhiều tính toán hơn vì phải theo dõi nhiều bước, nhưng nó thường tạo ra các distilled dataset có khả năng tổng quát hóa tốt hơn và cho hiệu suất tốt hơn so với single-step matching.

Link to this sectionCách thức tạo và tối ưu hóa synthetic dataset hoạt động#

Với sự hiểu biết tốt hơn về các phương pháp distillation chính, giờ đây chúng ta có thể xem xét cách tạo ra dữ liệu tổng hợp. Trong dataset distillation, các sample tổng hợp được tối ưu hóa để nắm bắt tín hiệu học tập quan trọng nhất, vì vậy một tập nhỏ có thể thay thế một dataset lớn hơn nhiều.

Tiếp theo, chúng ta sẽ thấy cách dữ liệu distilled này được tạo ra và đánh giá.

Link to this sectionTạo và đánh giá các ảnh distilled#

Trong quá trình dataset distillation, các pixel tổng hợp được cập nhật qua nhiều bước huấn luyện. Neural network học từ các ảnh tổng hợp hiện tại và gửi phản hồi dựa trên gradient, cho thấy cách mỗi pixel nên thay đổi để khớp hơn với các pattern trong dataset gốc.

Điều này hoạt động vì quy trình này có thể đạo hàm (differentiable, nghĩa là mọi bước đều trơn tru và có các gradient được xác định rõ ràng, vì vậy những thay đổi nhỏ về pixel dẫn đến những thay đổi có thể dự đoán được trong loss), cho phép model điều chỉnh dữ liệu tổng hợp một cách trơn tru trong quá trình gradient descent.

Khi việc tối ưu hóa tiếp tục, các ảnh tổng hợp bắt đầu hình thành cấu trúc có ý nghĩa, bao gồm hình dạng và kết cấu mà model nhận ra. Những ảnh tổng hợp đã được tinh chỉnh này thường được sử dụng cho các tác vụ image classification vì chúng nắm bắt các tín hiệu thị giác chính mà một bộ phân loại (classifier) cần để học.

Distilled dataset được đánh giá bằng cách huấn luyện các model trên chúng và so sánh kết quả với các model được huấn luyện trên dữ liệu thật. Các nhà nghiên cứu đo lường độ chính xác validation và kiểm tra xem distilled set có bảo tồn được các discriminative feature (các pattern hoặc tín hiệu mà model dựa vào để phân biệt class này với class khác) cần thiết để phân tách các class hay không. Họ cũng kiểm tra tính ổn định và khả năng tổng quát hóa qua các đợt chạy hoặc thiết lập model khác nhau để đảm bảo distilled data không dẫn đến tình trạng overfitting.

Link to this sectionCác ứng dụng thực tế của data distillation#

Tiếp theo, chúng ta sẽ xem xét kỹ hơn các ví dụ cho thấy distilled dataset tăng tốc quá trình huấn luyện và giảm chi phí tính toán như thế nào trong khi vẫn duy trì hiệu suất mạnh mẽ, ngay cả khi dữ liệu bị hạn chế hoặc rất chuyên biệt.

Link to this sectionSử dụng dataset distillation cho các ứng dụng computer vision#

Khi nói đến computer vision, mục tiêu là huấn luyện các model để hiểu dữ liệu thị giác như ảnh và video. Các model này học các pattern như cạnh, kết cấu, hình dạng và vật thể, sau đó sử dụng các pattern đó cho các tác vụ như phân loại ảnh, phát hiện vật thể, hoặc phân đoạn. Vì các vấn đề về thị giác thường có sự biến đổi rất lớn về ánh sáng, nền và góc nhìn, các hệ thống computer vision thường cần dataset lớn để tổng quát hóa tốt, điều này khiến việc huấn luyện trở nên đắt đỏ và chậm chạp.

Hình 4. Một ví dụ về dataset distillation (Nguồn)

Khi nói đến các trường hợp sử dụng phân loại ảnh như scan y tế, theo dõi động vật hoang dã, hoặc phát hiện lỗi trong nhà máy, các model thường phải đối mặt với sự đánh đổi khó khăn giữa độ chính xác và chi phí huấn luyện. Các tác vụ này thường liên quan đến các dataset khổng lồ.

Dataset distillation có thể nén tập huấn luyện gốc thành một số lượng nhỏ các ảnh tổng hợp vẫn chứa các tín hiệu thị giác quan trọng nhất cho classifier. Trên các benchmark lớn như ImageNet, các distilled set chỉ sử dụng khoảng 4.2% dữ liệu gốc đã được chứng minh là duy trì độ chính xác phân loại mạnh mẽ. Điều này có nghĩa là một proxy tổng hợp nhỏ bé có thể thay thế hàng triệu sample thực tế với ít chi phí tính toán hơn nhiều.

Link to this sectionNeural architecture search#

Neural architecture search, hay NAS, là một kỹ thuật tự động khám phá nhiều thiết kế neural network có thể có để tìm ra thiết kế hoạt động tốt nhất cho một tác vụ. Vì NAS phải huấn luyện và đánh giá một số lượng lớn các model ứng viên, việc chạy nó trên toàn bộ dataset có thể chậm và tiêu tốn nhiều tài nguyên tính toán.

Dataset distillation giúp ích bằng cách tạo ra một tập huấn luyện tổng hợp nhỏ bé vẫn chứa tín hiệu học tập chính của dữ liệu gốc, vì vậy mỗi kiến trúc ứng viên có thể được kiểm thử nhanh hơn nhiều. Điều này cho phép NAS so sánh các thiết kế một cách hiệu quả trong khi vẫn giữ cho thứ hạng các kiến trúc tốt so với các kiến trúc kém ở mức hợp lý, giảm chi phí tìm kiếm mà không làm hy sinh quá nhiều chất lượng cuối cùng của model.

Link to this sectionContinual learning và triển khai tại edge#

Các hệ thống continual learning, nghĩa là các model tiếp tục cập nhật khi có dữ liệu mới thay vì chỉ huấn luyện một lần, cần các cập nhật nhanh và hiệu quả về bộ nhớ. Các Edge device như camera, điện thoại và cảm biến cũng đối mặt với những hạn chế tương tự vì chúng có ngân sách tính toán và lưu trữ chặt chẽ.

Dataset distillation giúp ích trong cả hai trường hợp bằng cách nén một tập huấn luyện lớn thành một tập tổng hợp nhỏ bé, vì vậy các model có thể thích nghi hoặc huấn luyện lại bằng cách sử dụng một tập replay nhỏ thay vì toàn bộ dataset. Ví dụ, công trình kernel-based meta-learning cho thấy chỉ 10 sample distilled có thể đạt được độ chính xác trên 64% trên CIFAR-10, một benchmark phân loại ảnh tiêu chuẩn. Vì tập replay rất gọn nhẹ, các cập nhật trở nên nhanh chóng và thiết thực hơn nhiều, đặc biệt là khi các model cần được làm mới thường xuyên.

Dataset distillation cũng có thể hoạt động cùng với knowledge distillation cho các large language model. Một distilled dataset nhỏ có thể giữ lại các tín hiệu tác vụ quan trọng nhất từ teacher model, để một compressed student model có thể được huấn luyện hoặc làm mới hiệu quả hơn mà không mất nhiều hiệu suất. Vì các dataset này rất nhỏ, chúng đặc biệt hữu ích cho việc sử dụng tại edge hoặc trên thiết bị, nơi bộ nhớ và tính toán bị hạn chế nhưng bạn vẫn muốn model giữ được độ chính xác sau khi cập nhật.

Link to this sectionƯu và nhược điểm của data distillation#

Dưới đây là một số lợi ích khi sử dụng dataset distillation:

• Tuyệt vời cho các thử nghiệm nhanh. Bạn có thể kiểm tra các kiến trúc, hàm loss, hoặc siêu tham số mới mà không cần phải huấn luyện lại trên một dataset khổng lồ mỗi lần.
• Lợi thế tiềm năng về quyền riêng tư. Chia sẻ các sample tổng hợp đã qua distillation có thể an toàn hơn chia sẻ các điểm dữ liệu người dùng thực tế, vì các ví dụ thô (raw examples) không bị phơi bày trực tiếp.
• Thường mạnh mẽ hơn việc chọn tập con đơn giản. Thay vì chỉ chọn các ví dụ, distillation chủ động tối ưu hóa chúng để đạt được mức thông tin tối đa.

Mặc dù dataset distillation mang lại một số ưu điểm, dưới đây là một số hạn chế cần lưu ý:

• Overfitting: Dữ liệu distilled thường hoạt động tốt nhất cho kiến trúc được sử dụng trong quá trình distillation và có thể chuyển đổi kém sang các model rất khác biệt.
• Nhạy cảm với siêu tham số. Kết quả có thể phụ thuộc rất nhiều vào các yếu tố như learning rate, khởi tạo, hoặc số bước distillation.
• Khó mở rộng đối với sự phức tạp trong thực tế. Các phương pháp hoạt động tốt trên các benchmark có thể mất độ chính xác trên các dataset lớn, hỗn độn hoặc có độ phân giải cao.

Link to this sectionCác điểm chính cần lưu ý#

Dataset distillation giúp cho một tập nhỏ các sample tổng hợp có thể dạy một model gần như hiệu quả như một dataset đầy đủ. Điều này làm cho machine learning nhanh hơn, hiệu quả hơn và dễ mở rộng hơn. Khi các model phát triển và đòi hỏi nhiều dữ liệu hơn, các distilled dataset mang đến một cách thiết thực để giảm chi phí tính toán mà không làm hy sinh độ chính xác.

Hãy tham gia cộng đồng của chúng tôi và xem qua GitHub repository để khám phá thêm về AI. Nếu bạn đang muốn xây dựng dự án AI thị giác của riêng mình, hãy xem các tùy chọn cấp phép của chúng tôi. Tìm hiểu thêm về các ứng dụng như AI trong chăm sóc sức khỏe và AI thị giác trong bán lẻ bằng cách truy cập các trang giải pháp của chúng tôi.