Bê bối Flock: Lập sở cảnh sát giả để thử nghiệm theo dõi người dân qua camera thực tế

Theo các hồ sơ công khai, Flock đã tạo ra một sở cảnh sát giả có tên là “Flock City PD” để sử dụng cho việc tìm kiếm trên hàng loạt hệ thống đọc biển số xe tự động trực tiếp tại nhiều thành phố ở Hoa Kỳ trong các buổi trình diễn khả năng của hệ thống giám sát. Các hồ sơ cho thấy Flock City PD đã sử dụng camera thực tế để tìm kiếm những người cầm biểu ngữ, “đám đông”, người đeo khẩu trang và nhiều đối tượng khác, theo nhật ký kiểm tra (audit logs) được chia sẻ với 404 Media.

Flock City PD cũng thực hiện các truy vấn cực kỳ nhạy cảm. Flock giải thích với 404 Media rằng những truy vấn này được thực hiện để chứng minh rằng hệ thống sẽ không thực sự trả về kết quả cho các tìm kiếm đó và các công cụ kiểm duyệt của họ hoạt động hiệu quả. Các tìm kiếm này bao gồm “miếng dán cản xe coexist”, “phương tiện mà một cô gái xinh đẹp sẽ lái”, “xe tải trắng có dán nhãn Trump”, “xe hơi tôn giáo”, “Ngôi sao David” và “cờ don’t tread on me”.

Việc nhân viên Flock truy cập vào camera trực tiếp cho mục đích bán hàng và hướng dẫn cảnh sát cách thực hiện các tìm kiếm đáng ngờ đã trở thành tâm điểm chính trị trong làn sóng phản đối công ty này. Vào tháng 4, chúng tôi đã đưa tin rằng nhân viên Flock thường xuyên truy cập vào camera trực tiếp tại Dunwoody, Georgia, ở phòng tập thể dục cho trẻ em, sân chơi, trường học, hồ bơi và một trung tâm cộng đồng Do Thái trong thành phố khi đang trình diễn công nghệ của công ty cho cảnh sát. Nhật ký kiểm tra thu thập được bởi Jason Hunyar, cư dân Dunwoody – người đầu tiên phát hiện ra hành vi này, cho thấy một thực thể tên là “Flock City PD” cũng đã tìm kiếm trên camera trực tiếp tại Dunwoody về đủ loại chủ đề gây tranh cãi chính trị trong các buổi demo bán hàng với cảnh sát. Điều này bao gồm cả việc tìm kiếm các hành vi được Hiến pháp Tu chính án thứ nhất bảo vệ rõ ràng.

Các tài khoản Flock có tên “Flock City PD - Law Enforcement Demo”, “Flock Intelligence” và “Flock Safety - Commercial Sales Demo” đã thực hiện tìm kiếm tại Dunwoody và Bryan, Texas, cũng như một số khu vực pháp lý không xác định khác với các từ khóa như “miếng dán cản xe coexist”, “Ngôi sao David”, “người đeo khẩu trang”, “đám đông”, “phương tiện có dán nhãn chính trị”, “người đàn ông cầm súng trường”, “người mặc đồ y tế”, “cờ don’t tread on me”, “xe hơi mà một cô gái xinh đẹp sẽ lái” và “phương tiện có dán nhãn Trump”, cùng nhiều tìm kiếm khác. Tất cả đều là các tìm kiếm “FreeForm”, nghĩa là thuật toán nhận diện hình ảnh AI của Flock sẽ quyết định kết quả trả về. Nhật ký kiểm tra cho thấy không phải tất cả các tìm kiếm này đều được hệ thống của Flock cho phép, và các công cụ kiểm duyệt của họ hoặc là chặn các tìm kiếm đó, hoặc hiển thị thông báo cảnh báo trước khi thực hiện tìm kiếm.

404 Media trước đây đã đưa tin rằng Flock đã hướng dẫn cụ thể cho cảnh sát cách giám sát các cuộc biểu tình No Kings, và một số tìm kiếm FreeForm này tương tự như những tìm kiếm mà chúng tôi đã báo cáo rằng các sở cảnh sát thực thụ đã tự thực hiện.

Một phát ngôn viên của Flock nói với 404 Media rằng một số tìm kiếm được thực hiện cụ thể để cho thấy những loại tìm kiếm nào cảnh sát không nên làm, và để chứng minh các rào cản mà Flock đã thiết lập nhằm ngăn chặn các tìm kiếm này. Ví dụ, tìm kiếm “phương tiện mà một cô gái xinh đẹp sẽ lái” được liệt kê là có trạng thái kiểm duyệt là “chặn”. Tìm kiếm về người có “Ngôi sao David” cũng được liệt kê là bị chặn, nhưng tìm kiếm “Ngôi sao David” trên một phương tiện lại hiển thị hộp cảnh báo về tính chất của tìm kiếm trước khi cho phép nó tiếp tục.

Các tìm kiếm này làm nổi bật việc nhân viên Flock thường xuyên thực hiện các tìm kiếm xâm phạm quyền riêng tư trên camera thực tế để trình diễn cách công nghệ của họ hoạt động; cư dân Dunwoody đã nhiều lần nói với hội đồng thành phố rằng họ cảm thấy quyền riêng tư của mình đang bị vi phạm như một vật thí nghiệm và công cụ trình diễn bán hàng cho một công ty tư nhân. Sau khi Hunyar và 404 Media đưa tin về việc camera của Flock bị nhân viên công ty truy cập tại các địa điểm nhạy cảm, công ty và thành phố cho biết camera của Dunwoody sẽ không còn được sử dụng cho mục đích trình diễn bán hàng nữa. Phát ngôn viên của Flock cho biết các buổi trình diễn này được thực hiện để cho cảnh sát thấy những gì không nên làm, và khẳng định tài khoản “Flock City PD” hiện không còn tìm kiếm trên bất kỳ camera thực tế nào. Họ nói thêm: “Môi trường demo của Flock City PD hiện đã được cô lập và các cơ quan thực thi pháp luật không thể thiết lập mối quan hệ chia sẻ với nó.”

Một hội thảo đào tạo trực tuyến gần đây của Flock mà 404 Media ghi nhận được cho thấy một nhân viên Flock đăng nhập vào tài khoản Flock City PD và có quyền truy cập vào các camera dường như dành riêng cho mục đích đào tạo, với các tên gọi như “Flock Warehouse - LPR Demo Cameras”, “Circle K - Demo”, “Tennessee Demo Cameras”, “Scottsdale AZ Demo Video Cameras” và “ALPR Demo”.

“Flock City PD là tên tổ chức dùng để thử nghiệm và demo cho các buổi trình diễn thực thi pháp luật và để các kỹ sư phát triển của chúng tôi tiến hành kiểm tra. Những tìm kiếm đó là một phần của quá trình kiểm thử và xác thực khả năng kiểm duyệt tìm kiếm FreeForm cùng các biện pháp bảo vệ liên quan. Đây không phải là các tìm kiếm điều tra do một cơ quan khách hàng thực hiện,” phát ngôn viên của Flock nói với 404 Media. “Đó cũng là bối cảnh cho các thông báo như ‘Ngôi sao David’ hoặc ‘nhóm người lớn với biểu ngữ’. Những loại thông báo này nhằm kiểm tra các biện pháp bảo vệ của hệ thống — đảm bảo rằng nó chặn các tìm kiếm nhạy cảm hoặc mang tính xúc phạm một cách phù hợp, hoặc gắn cờ các tìm kiếm có thể liên quan đến các quyền được bảo vệ bởi Tu chính án thứ nhất. Chính sách của chúng tôi được thiết kế để các tìm kiếm mang tính xúc phạm hoặc sử dụng từ ngữ miệt thị không trả về kết quả, và các truy vấn có thể liên quan đến các mối quan ngại về Tu chính án thứ nhất sẽ kích hoạt thông báo và xem xét kiểm toán. Như bạn có thể thấy trong ảnh chụp màn hình của mình — các biện pháp bảo vệ mà chúng tôi xây dựng đang hoạt động.”

Tuy nhiên, nhật ký kiểm tra cho thấy nhiều tìm kiếm nhạy cảm đã không bị chặn. Các tìm kiếm như “đám đông”, “người mặc đồ y tế”, “nhóm người lớn với biểu ngữ” đều được cho phép rõ ràng. Các tìm kiếm nhạy cảm hơn, chẳng hạn như “phương tiện có dán nhãn Trump”, “cờ don’t tread on me”, “miếng dán cản xe coexist”, “xe hơi tôn giáo” và “Ngôi sao David” có hiển thị hộp cảnh báo, nhưng Flock cho biết trong một bài đăng trên blog vào tháng 4 rằng cảnh sát có thể bỏ qua điều này: “Các tìm kiếm về nội dung cụ thể có khả năng liên quan đến quyền theo Tu chính án thứ nhất sẽ kích hoạt một cửa sổ bật lên cảnh báo người dùng và thông báo rằng tìm kiếm này sẽ được gửi đến cấp trên để kiểm toán nếu người dùng chọn tiếp tục.”

Trong một bài đăng trên blog giải thích cách kiểm thử hệ thống, công ty viết: “một số miếng dán cản xe chứa các từ và biểu tượng chỉ ra tôn giáo hoặc quốc tịch, và chính sách kiểm duyệt cần phải nhận diện, gắn cờ và chặn các tìm kiếm này. Giống như nhận dạng phương tiện, các thuật toán này cần được huấn luyện trong thế giới thực bằng cách sử dụng các ví dụ thực tế. Đó có thể là các tìm kiếm đào tạo và demo cho những thứ như ‘miếng dán cản xe hình Thánh giá’, ‘Ngôi sao David’ hoặc ‘cờ Nhật Bản’. Những tìm kiếm này, nếu được thực hiện, sẽ không được trả về kết quả.”

Cư dân Dunwoody đã làm rõ rằng họ hiểu Flock cần kiểm tra hệ thống của mình, nhưng họ không đăng ký để trở thành vật thí nghiệm cho một công ty giám sát.

“Những tuyên bố của Flock rằng họ áp đặt các hạn chế đối với những gì người dùng có thể tìm kiếm trong cơ sở dữ liệu của họ mang lại sự đảm bảo trái ngược với những gì họ dường như muốn thể hiện. Khi làm như vậy, họ thừa nhận rằng mạng lưới giám sát năng động của họ thực sự thu thập thông tin nhạy cảm này, và cánh cửa dẫn đến thông tin đó được kiểm soát hoàn toàn bởi chính sách của một tập đoàn vì lợi nhuận,” Hunyar nói với 404 Media. “Như đã thấy trong các bản demo trước đây, sự sẵn lòng của họ trong việc liên tục theo dõi và lập danh mục hành động của những công dân tuân thủ pháp luật đang thực hiện các quyền được Hiến pháp bảo vệ là điều đáng lo ngại đối với bất kỳ ai dự định thực hiện các quyền đó bây giờ hoặc trong tương lai.”

Về tác giả

Jason là đồng sáng lập của 404 Media. Trước đây, anh là tổng biên tập của Motherboard. Anh yêu thích Đạo luật Tự do Thông tin và môn lướt sóng.