♿️ Accessibility в приложении нужна не только людям, но и AI-агентам
Обычно AI-агенты работают с интерфейсом как человек: делают скриншот, пытаются понять по пикселям, где кнопка, и тыкают по координатам. Это медленно, дорого по токенам и довольно хрупко. Автор показывает более умный путь: использовать accessibility tree, который уже есть внутри iOS-приложения и который читают VoiceOver и XCTest.
Если у элементов нормально заполнены identifier, label, hint, value и traits, агенту не нужно гадать по картинке. Он может детерминированно находить элемент, понимать, что он делает, и нажимать точно в цель. Плюс это полезно не только для AI: вы одновременно улучшаете доступность для людей и делаете приложение гораздо удобнее для автоматизации, тестов и агентной навигации.
Внутри:
– Почему навигация по скриншотам для AI дорогая, медленная и хрупкая;
– Что такое accessibility tree и какие пять свойств в нем важны;
– Какие SwiftUI-модификаторы стоит добавлять на кнопки, строки списков и экраны;
– Зачем отслеживать координаты элементов, если у них уже есть identifier;
– Почему строгий нейминг accessibility-id сильно помогает агентам;
– Как populated accessibility tree меняет экономику токенов и скорость работы;
– Почему AI-навигация полезна не только для тестов, но и прямо во время разработки;
– Как accessibility и AI support здесь работают как одна и та же инвестиция.
➡️ Читать статью
———
💻 Курс по поиску работы 😍 Про дизайн
🔥 Вакансии дизайнерам
🎨 Референсы
