30 Ocak 2013 Çarşamba
Data Mining Using SAS Enterprise Miner
Matignon: Data Mining Using SAS Enterprise Miner from The Association for Computing Machinery on FORA.tv
28 Ocak 2011 Cuma
Data Mining Research interview: Ajay Ohri

Here is the winner of the Data Mining Research People Award 2010: Ajay Ohri! Thanks to Ajay for giving some time to answer Data Mining Research questions. And all the best to his blog, Decision Stat!
Data Mining Research (DMR): Could you please introduce yourself to the readers of Data Mining Research?
Ajay Ohri (AO): I am a business consultant and writer based out of Delhi- India. I have been working in and around the field of business analytics since 2004, and have worked with some very good and big companies primarily in financial analytics and outsourced analytics. Since 2007, I have been writing my blog at http://decisionstats.com which now has almost 10,000 views monthly.
All in all, I wrote about data, and my hobby is also writing (poetry). Both my hobby and my profession stem from my education ( a masters in business, and a bachelors in mechanical engineering).
My research interests in data mining are interfaces (simpler interfaces to enable better data mining), education (making data mining less complex and accessible to more people and students), and time series and regression (specifically ARIMAX)
In business my research interests software marketing strategies (open source, Software as a service, advertising supported versus traditional licensing) and creation of technology and entrepreneurial hubs (like Palo Alto and Research Triangle, or Bangalore India).
DMR: I know you have worked with both SAS and R. Could you give your opinion about these two data mining tools?
AO: As per my understanding, SAS stands for SAS language, SAS Institute and SAS software platform. The terms are interchangeably used by people in industry and academia- but there have been some branding issues on this.
I have not worked much with SAS Enterprise Miner , probably because I could not afford it as business consultant, and organizations I worked with did not have a budget for Enterprise Miner.
I have worked alone and in teams with Base SAS, SAS Stat, SAS Access, and SAS ETS- and JMP. Also I worked with SAS BI but as a user to extract information.
You could say my use of SAS platform was mostly in predictive analytics and reporting, but I have a couple of projects under my belt for knowledge discovery and data mining, and pattern analysis. Again some of my SAS experience is a bit dated for almost 1 year ago.
I really like specific parts of SAS platform – as in the interface design of JMP (which is better than Enterprise Guide or Base SAS ) -and Proc Sort in Base SAS- I guess sequential processing of data makes SAS way faster- though with computing evolving from Desktops/Servers to even cheaper time shared cloud computers- I am not sure how long Base SAS and SAS Stat can hold this unique selling proposition.
I dislike the clutter in SAS Stat output, it confuses me with too much information, and I dislike shoddy graphics in the rendering output of graphical engine of SAS. Its shoddy coding work in SAS/Graph and if JMP can give better graphics why is legacy source code preventing SAS platform from doing a better job of it.
I sometimes think the best part of SAS is actually code written by Goodnight and Sall in 1970’s , the latest procs don’t impress me much.
SAS as a company is something I admire especially for its way of treating employees globally- but it is strange to see the rest of tech industry not following it. Also I don’t like over aggression and the SAS versus Rest of the Analytics /Data Mining World mentality that I sometimes pick up when I deal with industry thought leaders.
I think making SAS Enterprise Miner, JMP, and Base SAS in a completely new web interface priced at per hour rates is my wishlist but I guess I am a bit sentimental here- most data miners I know from early 2000’s did start with SAS as their first bread earning software. Also I think SAS needs to be better priced in Business Intelligence- it seems quite cheap in BI compared to Cognos/IBM but expensive in analytical licensing.
If you are a new stats or business student, chances are – you may know much more R than SAS today. The shift in education at least has been very rapid, and I guess R is also more of a platform than a analytics or data mining software.
I like a lot of things in R- from graphics, to better data mining packages, modular design of software, but above all I like the can do kick ass spirit of R community. Lots of young people collaborating with lots of young to old professors, and the energy is infectious. Everybody is a CEO in R ’s world. Latest data mining algols will probably start in R, published in journals.
Which is better for data mining SAS or R? It depends on your data and your deadline. The golden rule of management and business is -it depends.
Also I have worked with a lot of KXEN, SQL, SPSS.
DMR: Can you tell us more about Decision Stats? You have a traffic of 120′000 for 2010. How did you reach such a success?
AO: I don’t think 120,000 is a success. Its not a failure. It just happened- the more I wrote, the more people read.In 2007-2008 I used to obsess over traffic. I tried SEO, comments, back linking, and I did some black hat experimental stuff. Some of it worked- some didn’t.
In the end, I started asking questions and interviewing people. To my surprise, senior management is almost always more candid , frank and honest about their views while middle managers, public relations, marketing folks can be defensive.
Social Media helped a bit- Twitter, Linkedin, Facebook really helped my network of friends who I suppose acted as informal ambassadors to spread the word.
Again I was constrained by necessity than choices- my middle class finances ( I also had a baby son in 2007-my current laptop still has some broken keys – by my inability to afford traveling to conferences, and my location Delhi isn’t really a tech hub.
The more questions I asked around the internet, the more people responded, and I wrote it all down.
I guess I just was lucky to meet a lot of nice people on the internet who took time to mentor and educate me.
I tried building other websites but didn’t succeed so i guess I really don’t know. I am not a smart coder, not very clever at writing but I do try to be honest.
Basic economics says pricing is proportional to demand and inversely proportional to supply. Honest and candid opinions have infinite demand and an uncertain supply.
DMR: There is a rumor about a R book you plan to publish in 2011 Can you confirm the rumor and tell us more?
AO: I just signed a contract with Springer for ” R for Business Analytics”. R is a great software, and lots of books for statistically trained people, but I felt like writing a book for the MBAs and existing analytics users- on how to easily transition to R for Analytics.
Like any language there are tricks and tweaks in R, and with a focus on code editors, IDE, GUI, web interfaces, R’s famous learning curve can be bent a bit.
Making analytics beautiful, and simpler to use is always a passion for me. With 3000 packages, R can be used for a lot more things and a lot more simply than is commonly understood.
The target audience however is business analysts- or people working in corporate environments.
Brief Bio-
Ajay Ohri has been working in the field of analytics since 2004 , when it was a still nascent emerging Industries in India. He has worked with the top two Indian outsourcers listed on NYSE,and with Citigroup on cross sell analytics where he helped sell an extra 50000 credit cards by cross sell analytics .He was one of the very first independent data mining consultants in India working on analytics products and domestic Indian market analytics .He regularly writes on analytics topics on his web site www.decisionstats.com and is currently working on open source analytical tools like R besides analytical software like SPSS and SAS.
KAYNAK : http://www.dataminingblog.com/data-mining-research-interview-ajay-ohri/
21 Şubat 2010 Pazar
Röportaj - Nuray Akmeriç ile Veri Madenciliği

Kurumlara çalıştıkları alanlarda daha verimli olmaları için gerekli olan yazılım alt yapısını sağlıyorsunuz. Bu yazılım alt yapısını her kuruma göre yeniden optimize etme süreciniz nasıl işliyor?
SAS kurumların ihtiyaçlarına yönelik, uçtan uca çözümler sunan bir firma. Hatta Dünya’da uçtan uca çözümler sunan tek firma diyebiliriz. SAS çözümleri aynı zamanda tüm platformlar üzerinde çalışabilme özelliğine sahip. Yani kurumun alt yapısı ne olursa olsun, bu alt yapıya uyum sağlayabiliyor. SAS’ın bir diğer özelliği ise, kullanıcılarına paket programlar satmaması. Tabi ki şirketlerin ihtiyaçlarına yönelik olarak sunduğumuz paket programlarımız var fakat bu programlar modüler bir yapıya sahip.
SAS bir müşteri ile çalışmaya başlamadan önce müşteriyi incelemeye alıyor, ihtiyaçları tam olarak nedir, bu ihtiyaçları karşılamaya yönelik olarak bugüne kadar neler yapmış, mevcut çalışmalarının ne kadarı bundan sonrası için de kullanılabilir durumda, kurumun nelere ihtiyacı var gibi bir takım ön çalışmalar yapıyor. Daha sonra kurumun ihtiyacı olan çözümü biraz önce bahsettiğim modüler yapısı sayesinde oluşturarak uygulamaya başlıyor. SAS’ın işi çözümü kurup kullanıcılara uygulamayı anlatmasıyla da bitmiyor, tüm süreç boyunca şirketin her türlü ihtiyacı için danışmanlık hizmeti de veriyor.
Veri madenciliği gibi bir terimi ilk defa sizden duyuyoruz. Nedir bu veri madenciliği?
Dünya’yı değiştirecek teknoloji olarak değerlendirilen Veri Madenciliği, önceden bilinmeyen ilişkileri ortaya çıkarmak için büyük veri yığınlarını kullanarak yapılan veri seçimi, incelemesi ve modelleme süreci olarak tanımlanıyor. Veri Madenciliği ile işletmeler, daha iyi karar almalarına ya da yeni iş fırsatlarını daha iyi tahmin etmelerine yardımcı olacak ‘önceden tahmine dayalı modeller’ oluşturabiliyorlar. Sade bir anlatımla veri madenciliği, kullanıcıların, büyük veri yığınları arasında istedikleri veriye ulaşması, bu veriyi ayrıntılı şekilde inceleyip iş kararlarına yönelik olarak kullanabilmesi anlamına geliyor.
Veri madenciliğine yönelik olarak SAS, müşterilerinin yeni veriler içerisindeki bilgileri daha hızlı ve kolay bir şekilde görüp, en iyi sonuçları alabilecekleri analizleri gerçekleştirebilmelerini sağlayan entegre analitik yazılım çözümleri sunuyor.
“SAS Enterprise Miner” Çözümü, çalışma grupları için gerekli esnekliği sağlayan basit ve entegre bir çözüm ile gerekli tüm çalışmaları destekleyerek, veriye ulaşımdan model geliştirmeye kadar tüm Veri Madenciliği uygulamalarını etkin hale getiriyor.
Dağıtımlı istemci/sunucu sistemi olarak geliştirilen çözüm, özellikle büyük şirketlerdeki Veri Madenciliği çalışmaları için kullanılıyor. “SAS Enterprise Miner” Çözümü, kritik iş ve araştırma konularını düzenlerken zorlayıcı değişimlerle karşı karşıya kalan veri madencileri, pazarlama analistleri, veri tabanı pazarlamacıları, risk analistleri, suistimal denetimcileri, mühendisler ve bilim adamları için tasarlandı.
Çalıştığınız alanın dünyadaki büyüklüğü nedir? Sizin bu pazardaki yeriniz nerededir? Aynı şekilde ülkemizde nasıl konumlanıyorsunuz?
1976 yılında kurulan, dünyanın en büyük bağımsız özel yazılım şirketi olan SAS Institute, Kurumsal Zekâ yazılımları ve hizmetleri konusunda uçtan uca çözüm sunan tek yazılım firması özelliğine sahiptir. 112 ülkede faaliyet gösteren SAS, aralarında 2006 Fortune Global 500 Listesi’nin ilk 100’ünü oluşturan kuruluşların %96’sının da bulunduğu birçok kurum ile çalışıyor. 1997 yılı sonunda açılan SAS Türkiye ofisi ise bugün orta ve büyük ölçekli 46 ulusal ve uluslararası kuruluşa hizmet veriyor.
American Bank ve IDC Financial’ın Kasım 2006’da yayınladığı “Finans Sektörüne Hizmet Veren Şirketler Araştırması”nda SAS, finans sektörüne çözüm sunan BT Şirketleri arasında dünyanın 20. büyük şirketi olarak yer alıyor. Söz konusu listede İş Zekâsı alanında en yakın rakibimiz 43. sırada, risk alanında son dönemde Türkiye’de sıkça karşılaştığımız rakibimizi ise 74. sırada görüyoruz. Yine ülkemizde Analitik CRM alanında rakiplerimizden olan firma ise bu sıralamada yer almıyor.
Dünya’nın ve Türkiye’nin en büyük ve başarılı finans kuruluşları, müşterilerini tanımanın verdiği gücü kazanmak, risklerini yönetmek konusunda yeni nesil İş Zekâsı yazılımları ve çözümleri ile pazar lideri olan SAS Institute'a güveniyor. Müşteri odaklı araştırma ve geliştirme çalışmalarına verdiği önemle, stratejik ortaklar ve diğer teknoloji sağlayıcılarla oluşturduğu yakın işbirliği sayesinde SAS Institute müşterilerine, SAS yazılımlarına yaptıkları yatırımlardan en üst düzeyde getiri elde edecekleri güvencesini veriyor.
Basel II ile ilgili olarak ne gibi çözümleriniz var?
Geleceğin bankacılık sistemini değiştirecek olan Basel II standartları bu yıl sonunda Avrupa’da uygulamaya konuyor, 2008 yılında da Türkiye’de bankalar tarafından uygulanmaya başlanması bekleniyordu fakat bu süreç BDDK tarafından 2009 yılına çekildi.
Basel-II bankalarda etkin risk yönetimini ve piyasa disiplinini geliştirmek, sermaye yeterliliği ölçümlerinin etkinliğini artırmak ve bu sayede sağlam ve etkin bir bankacılık sistemi oluşturmak, finansal istikrara katkıda bulunmak için sunulmuş önemli bir fırsat aslında. Avrupa’daki bankalar ve sermaye kuruluşlarının yoğun bir şekilde hazırlandığı, üzerinde çokça konuşulan ve sadece bankacılık sistemini etkileyeceği düşünülen Basel II tüm ticaret yaşamını değiştirecek bir standartlar bütünü. Bankaların sermaye yeterliliği standartlarını yeniden belirleyen ve risk yönetimini ön plana çıkaran Basel II düzenlemesi ile birlikte bankaların davranışını etkileyecek olan yeni risk yönetimi anlayışı kredi müşterilerine de yansıyacak.
Ülkemizde 2009 yılından itibaren uygulanmaya başlanacak Basel II ile birlikte, çeşitli kurum ve kuruluşlara sunulan kredinin sübjektif yöntemlerle “iyi” veya “kötü” kredi olarak belirlenmesi sürecinden, kredinin çeşitli unsurları ile “çok riskli” veya “az riskli” olduğunun belirlenmesi sürecine girilecek, fiyatlamanın buna göre yapılması kaçınılmaz olacak. Bu risk odaklı kredi fiyatlaması işletmelerin kullanacakları kredilerin miktarlarını, fiyatlarını olumlu veya olumsuz yönde etkileyebilecektir. Kullandırılan kredinin türünden vadesine, teminatından firma kredi notuna kadar çeşitli kriterler firmaların kullanacakları kredilerin fiyatına yansıyacak.
Kredi verilen firmanın derecelendirme notu düştükçe, banka hem daha çok risk alacak, hem karşılık olarak daha çok sermaye tutacak ve dolayısıyla daha çok kaynağını getiriden mahrum bırakacaktır. Bu durumda firmalara kullandırılacak kredilerin maliyetleri artacak.
Türkiye’deki KOBİ’lerin ülkemiz ticaretinin yüzde 99’unu oluşturduğunu göz önünde bulundurduğumuzda BASEL II’nin en büyük etkisi ise KOBİ ve Bankacılık sistemi ilişkisine dayanacak. KOBİ’lerimizin zaman zaman farklı merciler için farklı mali raporlar (bilanço, gelir-gider tabloları vb) üretmeleri söz konusu. KOBİ bilançolarının kredilendirmeye uygun olmaması (negatif sermaye, bilançodaki zarar), kayıt dışı işlemlerin bulunması, KOBİ’lerin derecelendirme aşamasında yaşayacağı zorlukların başında geliyor.
Bağımsız pazar araştırma kuruluşu Forrester Research'ün yayınladığı "Basel II: Kaotik Uygulamaları Fırsata Çevirmek" başlıklı raporda halen bankacılık sisteminde kullanılan uygulamaların sorunlarının başında; parçalanmış ve Odaklanamamış Yazılım Çözümleri ve mevcut Bilgi Teknolojileri altyapılarında kullanılan uygulamaların birbirleriyle entegrasyon sorunları olduğuna dikkat çekiliyor. Basel II standartlarının gerektirdikleri ise Kredi, piyasa ve operasyonel risk yönetiminin bir arada gerçekleştiren eksiksiz risk yönetimi özellikleri, kullanılan bankacılık uygulamalarından düzenli ve geçerli veri almayı sağlayan gelişmiş veri ambarı özellikleri ve risk yönetimine ilişkin verilere hızlı erişim sağlayan risk analizi raporlama becerileri.
Kredi riskleri analizi ile ilgili olarak Gartner G2 tarafından yayınlanan en son araştırma raporunda yapılan değerlendirmeye göre şirketler, çeşitli üreticiler tarafından geliştirilen nokta çözümler yerine, birbiriyle çalışacak şekilde tasarlanmış, entegre risk yönetimi bileşenlerine ve araçlarına gereksinim duyuyorlar. Bu sayede uzun dönemli iş ve teknoloji stratejilerinden ödün vermeden kısa dönemli risk yönetimi fonksiyonlarını yerine getirebiliyorlar.
Bu noktada, Basel II’ye geçiş sürecinde, finans kuruluşları, risk yönetimlerini daha etkin yapabilmek ve yönetebilmek adına ihtiyaçlarına en uygun teknolojik çözümü seçmeli, mevcut çözümler arasında iyi değerlendirme yapıp çözüm odaklı entegre bir hizmeti tercih etmelidir.
SAS olarak BASEL II’ye yönelik uçtan uca çözümlerimiz bulunuyor. Tüm dünyada önemli şirketler, BASEL II kurallarına uyum sağlamak adına SAS Kredi Risk Çözümleri’ni kullanıyor. SAS finans sektöründeki hizmetlerine, kara para aklama ile mücadeleye, risk yönetimini daha etkin şekilde idare etmeye ve yeni gelir kaynaklarını belirlemeye yarayan çözümleri ile devam ediyor. Basel II ile birlikte Kredi Skorlama’nın kurum içinde analitik uygulamalarla gerçekleştirilmesi zorunluluk olup, SAS Risk Yönetimi konusunda çözüm sunan firmalar arasında bunu gerçekleştirebilen tek firmadır.
(Bu röportajın bir kısmı 12 Ağustos 2007 tarihli Para dergisinde yayınlanmıştır.)