Opublikowany w grudniu 2020 raport wykonała niezależna badawcza, prywatna uczelnia Cornell z siedzibą w Nowym Jorku partnera State University of New York. W raporcie oceniono metody wykrywania intencji przez czołowe, komercyjne silniki sztucznej inteligencji. Skoncentrowano się na ich dokładności, niezawodności i wymaganiach obliczeniowych, porównano i oceniono ich wydajność.
Porównanie dotyczyło poniższych rozwiązań AI:
- IBM Watson Assistant (najnowszą, ulepszoną wersję)
- Google Dialogflow2
- Microsoft LUIS3
- RASA – rozwiązanie open source używane komercyjnie
- Haptik (indyjska platforma konwersacyjna)
Raport w wersji PDF: https://unima2000.pl/wp-content/uploads/2021/04/Benchmarking-intent-detection-2020.11.pdf
Raport opublikowano w grudniu 2020 roku. W raporcie zastosowano nową metodologię oceny wykrywania intencji „na wolności” czyli w warunkach reaknych w zadaniowych systemach dialogowych. Wykrywanie intencji, jest kluczowym elementem nowoczesnych, zorientowanych na cel systemów dialogowych, które realizują zadania użytkownika.
Wyniki przeprowadzonych badań pokazały, że model wykrywania intencji Watson Assistant przewyższa rozwiązania komercyjne, z którymi był porównywany pod względem szybkości wykrywania intencji, wymagając jedynie ułamka zasobów obliczeniowych i danych szkoleniowych. Watson Assistant działa dobrze, nawet gdy jest dostarczany z mniejszą wersją danych testowych. Jest bardziej wydajny i uczy się szybciej, dając porównywalną dokładność .
Raport dostępny jest na takich portalach jak: Google Scholar, NASA ADS, Semantic Scholar.
Link do raportu:
Link centrum badawczego: